Çocuğa “Boyutluluk Laneti” ni açıklayın

Boyutluluk laneti hakkında defalarca duydum, ama nasıl olduysa hala fikrini kavrayamıyorum, hepsi sisli.

Bunu bir çocuğa açıklayacağınız gibi bunu en sezgisel bir şekilde açıklayabilir miyim, böylece ben (ve benim gibi kafam karışan diğerleri) bunu iyi anlayabilsin mi?

DÜZENLE:

Şimdi, diyelim ki çocuk bir şekilde kümelemeyi duymuş (örneğin, oyuncaklarını nasıl kümelendiğini biliyorlar :)). Boyutsallığın artışı, oyuncaklarının kümelenmesini zorlaştırır mı?

Örneğin, yalnızca oyuncağın şeklini ve oyuncağın rengini (tek renkli oyuncaklar) dikkate alırlardı, ama şimdi oyuncakların boyutunu ve ağırlığını da göz önünde bulundurmaları gerekiyor. Çocuğun benzer oyuncakları bulması neden daha zor?

EDIT 2

Tartışma için şunu açıklığa kavuşturmam gerekir - "Çocuğun benzer oyuncakları bulması neden daha zor?" - Ayrıca neden yüksek-boyutlu alanlarda mesafe kavramı kaybedilir?

Muhtemelen çocuk kurabiye yemeyi sever, bu yüzden farklı bir renge, farklı bir şekle, farklı bir tada, farklı bir fiyata sahip kurabiyeli bir kamyonun olduğunu varsayalım.

Çocuğun seçmesi gerekiyor ancak yalnızca bir özelliği, örneğin tadı hesaba katması gerekiyorsa, dört olasılık var: tatlı, tuzlu, ekşi, acı, bu yüzden çocuk en çok neyi sevdiğini bulmak için sadece dört kurabiye denemeli.

Çocuk, tat ve renk kombinasyonlarını seviyorsa ve 4 (burada oldukça iyimserim :-)) farklı renkler varsa, o zaman zaten 4x4 farklı tür arasından seçim yapması gerekir;

Ek olarak, çerezlerin şeklini hesaba katmak istiyorsa ve 5 farklı şekil var ise 4x4x5 = 80 çerezini denemek zorunda kalacak.

Devam edebiliriz, ama bütün bu kurabiyeleri yedikten sonra zaten karın ağrısı olabilirdi ... en iyi seçimini yapmadan önce :-) Göbek ağrısından ayrı olarak, tattaki farklılıkları hatırlamak gerçekten zor olabilir Her bir çerezden

Gördüğünüz gibi (@Almo) çoğu (hepsi?), Boyutların sayısı arttıkça işler daha da karmaşıklaşıyor, bu yetişkinler, bilgisayarlar ve çocuklar için geçerli.

Boyutsallık laneti için kullanmayı sevdiğim analoji, geometrik tarafta biraz daha fazla, ama umarım hala çocuğunuz için yeterince faydalıdır.

Bir köpeği avlamak ve düzlükte koşuyorsa yakalaması kolaydır (iki boyut). Artık taşınabilecekleri ekstra bir boyuta sahip olan kuşları avlamak çok daha zor. Hayaletlerin daha yüksek boyutlu varlıklar olduğunu iddia edersek ( Flatland'daki A. Square ile etkileşime giren Sphere'e benzeyen ), yakalanması daha da zor. :)

Tamam, hadi oyuncaklarını kümeleyen çocuğun örneğini analiz edelim.
Çocuğun sadece 3 oyuncağı olduğunu düşünün:

1. mavi bir futbol topu
   
2. mavi bir freesbe
3. yeşil bir küp (tamam belki hayal edebileceğiniz en eğlenceli oyuncak değildir)

Bir oyuncağın nasıl yapılabileceği ile ilgili şu ilk hipotezi yapalım:

1. Olası renkler: kırmızı, yeşil, mavi
2. Olası şekiller şunlardır: daire, kare, üçgen

Şimdi (num_colors * num_shapes) = 3 * 3 = 9 olası kümelere sahip olabiliriz.

Çocuk oyuncakları şu şekilde toplar:

• CLUSTER A) mavi top ve mavi frebebe içerir, çünkü aynı renk ve şekle sahiptir.
• KÜMELE B) süper komik yeşil küpü içerir

Sadece bu 2 boyutu (renk, şekil) kullanarak 2 boş olmayan kümeye sahibiz: bu nedenle bu ilk durumda alanımızın% 7 / 9'u% 77'si boş.

Şimdi çocuğun göz önünde bulundurması gereken boyut sayısını artıralım. Bir oyuncağın nasıl yapılabileceği ile ilgili şu hipotezi de yaparız:

3. Oyuncunun boyutu birkaç santimetre ile 1 metre arasında değişebilir, on santimetre adımda: 0-10cm, 11-20cm, ..., 91cm-1m
4. Oyuncağın ağırlığı, 100 kilogramlık adımlarla 1 kilograma kadar benzer şekilde değişebilir: 0-100g, 101-200g, ..., 901g-1kg.

ŞİMDİ oyuncaklarımızı kümelemek istiyorsak, (num_colors * num_shapes * num_sizes * num_weights) = 3 * 3 * 10 * 10 = 900 olası kümelerimiz var.

Çocuk oyuncakları şu şekilde toplar:

• CLUSTER A) mavi futbol topunu içerir çünkü mavi ve ağırdır
• KÜMELE B) mavi renklidir, çünkü mavi ve ışıklıdır.
• CLUSTER C) süper komik yeşil küpü içeriyor

Mevcut 4 boyutun kullanılması (şekil, renk, boyut, ağırlık) sadece 3 küme boş değil: bu durumda boşluğun% 897/900 ~ 99,7'si boş.

Bu Vikipedi'de bulduklarınıza bir örnektir ( https://en.wikipedia.org/wiki/Curse_of_dimensionality ):
... boyutluluk arttıkça, alanın hacmi o kadar hızlı artar ki, mevcut veriler seyrekleşir.

Düzenleme: Çocuğa neden yüksek-boyutlu alanlarda mesafenin bazen yanlış gittiğini gerçekten açıklayabileceğimden emin değilim, ama hadi çocuk ve oyuncakları örneğimize devam etmeye çalışalım.

Sadece ilk 2 özelliği {color, shape} düşünün, herkes mavi topun mavi küpün yeşil küpten daha fazla benzer olduğunu kabul eder.

Şimdi diğer 98 özelliği ekleyelim: {say: boyut, ağırlık, day_of_production_of_the_toy, malzeme, yumuşaklık, day_in_which_the_toy_was_bought_by_daddy, fiyat vb.

Yani:

1. Çok sayıda özellik, benzerliğin belirli bir karşılaştırmasında önemsiz olabilir ve bu da sinyal-gürültü oranının bozulmasına neden olabilir.
2. Yüksek boyutlarda, tüm örnekler "benziyor".
   
   

Beni dinlerseniz, iyi bir ders "Makine Öğrenmesi Hakkında Bilmeniz Gereken Birkaç Yararlı Şey" dir ( http://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf ), özellikle 6. paragraf bunu Bir çeşit akıl yürütme.

Bu yardımcı olur umarım!

Boyutluluk laneti hakkında çok sezgisel (ve ayrıntılı) bir açıklama sağlayan aşağıdaki bağlantıya rastladım: http://www.visiondummy.com/2014/04/curse-dimensionality-affect-classification/

Bu makalede, 'Boyutluluk Laneti' adı verilen konuyu tartışacağız ve bir sınıflandırıcı tasarlarken neden önemli olduğunu açıklayacağız. İlerleyen bölümlerde, boyutluluk laneti nedeniyle ortaya çıkan net bir örnekle gösterilen bu kavramın sezgisel bir açıklamasını sunacağım.

Birkaç kelimeyle, bu makale (sezgisel olarak) daha fazla özellik eklemenin (yani özellik alanımızın boyutsallığını arttırma) daha fazla veri toplamayı gerektirdiğini ortaya koymaktadır. Aslında, toplamamız gereken veri miktarı (fazladan giydirmeyi önlemek için), daha fazla boyut ekledikçe katlanarak artmaktadır.

Aynı zamanda aşağıdaki gibi hoş resimler de var:

Boyutluluk laneti, farklı disiplinlerdeki farklı ama ilişkili şeyleri tanımladığı için tanımda biraz bulanık. Aşağıda makine öğrenmesinin boyutsallık laneti gösterilmektedir:

Bir kızın sadece italik olanlardan hoşlandığı on oyuncağı olduğunu varsayalım:

• kahverengi bir oyuncak ayı
• mavi bir araba
• kırmızı bir tren
• sarı bir ekskavatör
• yeşil kitap
• gri peluş mors
• siyah bir vagon
• pembe bir top
• beyaz kitap
• turuncu bir bebek

Şimdi, babası doğum günü için ona hediye olarak yeni bir oyuncak vermek istiyor ve onu sevmesini sağlamak istiyor. Sevdiği oyuncakların ortak noktalarının ne olduğunu çok iyi düşünüyor ve sonunda bir çözüme ulaştığını düşünüyor. Kızına çok renkli bir bilmecenin. Hoşlanmadığı zaman şöyle cevap verir: “Neden hoşlanmıyorsun? W harfini içerir . ”

Babası, boyutluluk laneti (ve örneklem optimizasyonu) için mağdur oldu. Harfleri göz önünde bulundurarak 26 boyutlu bir alanda hareket ediyordu ve bu nedenle kızı tarafından sevilen oyuncakları ayıran bir kriter bulması çok muhtemeldi. Bunun, örnekte olduğu gibi tek harfli bir kriter olması gerekmiyordu, ancak bunun gibi bir şey de olabilirdi.

a, n ve p'den en az birini içerir , ancak hiçbirinde u, f ve s yoktur.

Harfinin kızının hangi oyuncakları sevdiğini belirlemek için iyi bir kriter olup olmadığının yeterince anlaşılması için, baba kızının devasa bir oyuncak miktarına ilişkin tercihlerini bilmesi gerekir - veya sadece beynini kullanır ve yalnızca kızının etkilemek için düşünülebilecek parametreleri göz önünde bulundurması gerekir. görüş, fikir.

¹ büyüklük sırası: , eğer bütün harfler eşit derecede muhtemel olsaydı ve birden fazla harf oluşumunu hesaba katmazdı.$2^{26}$

• Birim kareye alınmış bir daire düşünün.
• Birim küpü içine alınmış bir küre düşünün.
• N boyutlu birim hiper küpü içine alınmış n boyutlu bir hiper küre düşünün.

Hiper küpün hacmi birim cinsinden ölçüldüğünde elbette . Bununla birlikte, hiper kürenin hacmi n büyüyerek küçülür.$1^n$

Hiper kürenin içinde ilginç bir şey varsa, onu daha yüksek boyutlarda görmek zorlaşır. In boyutlu durumda hiper küre kaybolur! Bu lanet.$\infty$

GÜNCELLEME: Görünüşe göre bazı insanlar istatistiklerle bağlantıyı kurmuyor. Bir hiper küpün içinde rastgele bir nokta seçmeyi düşünüyorsanız, ilişkiyi görebilirsiniz. İki boyutlu bir durumda, bu nokta çemberi (hiper küre) içinde olma olasılığı ise olan , üç boyutlu durumda bu, vb olasılığı sıfır boyutlu durumda.π / 6 $\pi/4$$\pi/6$$\infty$

Ben: "'S' ile başlayan küçük kahverengi bir hayvanı düşünüyorum. Bu nedir?"

Onun: "Sincap!"

Ben: "Tamam, daha zor bir tane. Küçük kahverengi bir hayvanı düşünüyorum. Nedir?"

O: "Hala bir sincap mı?"

Ben: "Hayır"

O: "Fare, fare, vole?

Ben: "Hayır"

Onun: "Umm ... bana bir ipucu ver"

Ben: "Hayır, ama daha iyisini yapacağım: CrossValidated sorularına cevap vereyim"

Onun: [inliyor]

Ben: "Soru şudur: Boyutluluğun laneti nedir? Ve cevabı zaten biliyorsunuz"

O: "yaparım?"

Ben: "Siz yapın. İlk hayvanı ikinci olandan daha neden tahmin etmek neden daha zordu?"

Ona: "Çünkü 'S' ile başlayan küçük kahverengi hayvanlardan daha küçük kahverengi hayvanlar var?"

Ben: “Doğru. Ve bu boyutluluğun laneti. Tekrar oynayalım.”

Onun: "Tamam"

Ben: “Bir şey düşünüyorum. Nedir?”

Onun: "Adil değil. Bu oyun zor."

Ben: “Doğru. Bu yüzden buna lanet diyorlar. Düşünmeye meyilli olduğum şeyleri bilmeden iyi yapamazsınız.”

Bazı malları göndermek istediğinizi varsayalım. Malları paketlerken mümkün olduğunca az yer israf etmek istiyorsunuz (yani, mümkün olduğu kadar az yer bırakın), çünkü nakliye masrafları zarfın / kutunun hacmiyle ilgilidir. Hizmetinizde olan kaplar (zarflar, kutular) dik açılara sahiptir, yani çuval vs. yoktur.

İlk sorun: bir kalem gönderin (bir "çizgi") - etrafında boş bir alan kalmadan bir kutu oluşturabilirsiniz.

İkinci sorun: bir CD ("küre") gönderin. Kare bir zarfa koymanız gerekiyor. Çocuğun yaşına bağlı olarak, zarfın ne kadarının boş kalacağını hesaplayabiliyor olabilir (ve yine de CD'ler olduğunu ve sadece indirmelerin değil ;-) olduğunu da biliyor olabilir).

Üçüncü problem: bir futbol gönderin (futbol ve şişirilmesi gerekiyor!). Bir kutuya koymanız gerekecek ve biraz boşluk boş kalacaktır. Bu boş alan, toplam hacmin CD örneğinden daha yüksek bir bölümü olacaktır.

Bu noktada, bu benzetmeyi kullanan sezgim durur, çünkü dördüncü bir boyut hayal edemiyorum.

EDIT: Analoji en çok (hiç değilse) parametrik olmayan kestirim için kullanışlıdır, yani bu noktada bir yoğunluğu veya bir gerileme fonksiyonunu, yani bir yoğunluğu veya bir gerileme fonksiyonunu tahmin etmek için ilgi noktasında "yerel" gözlemleri kullanır. Boyutluluğun laneti, daha yüksek boyutlarda, belirli sayıda gözlem (yerellik nosyonunu sorgulanabilir kılan) veya büyük miktarda veri için çok daha büyük bir mahalleye ihtiyaç duyulmasıdır.

6 yaşımdaki gibi, birincil sebep araştırmasının ayeti hakkında daha fazla, "ama evrendeki tüm bu gaz nereden geliyordu?" ... peki, çocuğunuzun çok daha yüksek görünen "daha yüksek boyutları" anladığını hayal edeceğim. pek mümkün değil.

Aşağıdaki soruyu soralım: bir küp içinde birer birer (rasgele) rasgele noktaları seçin . Alt köşede bir noktaya gelmek ne kadar sürer? ?$n$$[0,1]^n$$\left[ {1\over2}, {1\over2}\right]^n$

Cevap, genç delikanlı, bu alt köşede rastgele bir nokta olma olasılığının , yani sola vurmadan önce çizilmesi gereken sayıların anlamına gelir. köşe (geometrik dağılımın özelliklerine göre). Buğday ve satranç tahtası probleminden bildiğiniz gibi, bu hızla çok büyük bir hal alıyor.$\left({1\over 2}\right)^n$$2^n$

Şimdi git odanı al, baban işe yaramalı.

Kümelemeyle ilgili PS ... bu yüksek boyut kutusunda dağılmış noktalarınızı düşünün. O kadar büyük ki kenarları olan alt kutu var.$2^n$${1\over 2}$

Bunu gösteren bir klasik, ders kitabı, matematik problemi var.

Bir ay boyunca her gün, bir günde 100 para, bir ay boyunca her gün iki katına bir kuruş (seçenek 2) kazandırmayı mı tercih edersiniz? Çocuğunuza bu soruyu sorabilirsiniz.

1. seçeneği tercih ederseniz,
1. günde 2. günde 100 flama kazanırsınız, 3. günde 100 adet flama kazanırsınız ... 30 günde 100 flama kazanırsınız ...

$n^{th}$

toplam para sayısı, gün sayısı günlük para sayısı ile çarpılarak bulunur:

Seçenek 2'yi seçerseniz:
1. günde 2. günde 1 kuruş kazanır, 3. günde 2 kuruş alırsınız, 4. günde 4 kuruş alırsınız, 5. günde 8 kuruş alırsınız, 16. günde 30 kuruş alırsınız ... peni

$n^{th}$$2^n$

Açgözlülüğü olan herkes daha büyük sayı seçecektir. Basit açgözlülük bulmak kolaydır ve çok az düşünce gerektirir. Konuşmayan hayvanlar kolayca açgözlülük yeteneğine sahiptir - böcekler bilhassa iyidir. İnsanlar çok daha fazlasını yapabilir.

Yüz yerine bir kuruşla başlarsanız açgözlülük daha kolaydır, ancak bir polinomun gücünü değiştirirseniz daha karmaşıktır. Kompleks ayrıca çok daha değerli olabilir.

"Lanet" Hakkında "
Fizik ile ilgili" en önemli "matematiksel işlem matris inversiyonudur. En yaygınları Maxwell denklemleri (elektromanyetikler), Navier Stokes denklemleri (akışkanlar), Poisson denklemi (difüzer transfer) ve Hooks Yasası (deforme edilebilir katılar) varyasyonları olan kısmi diferansiyel denklem sistemlerinin çözümlerini yönetir. Bu denklemlerin her birinin etrafına kurulan üniversite kursları var.

$n^3$

Lanet var çünkü üstesinden gelinirse gökkuşağının sonunda altın değerinde bir kap var. Kolay değil - harika beyinler sorunu güçlü bir şekilde etkiledi.

link:

• https://en.wikipedia.org/wiki/Computational_complexity_of_mathematical_operations

Fcop çerezlerle harika bir benzetme sundu ancak sadece boyutlandırma lanetinin örnekleme yoğunluğunu ele aldı. Bu analojiyi örnekleme hacmine veya mesafeye, aynı sayıda Fcop çerezini bir satırda 10 kutu, masaya 10x10 kutu ve 10x10x10 yığın halinde dağıtarak dağıtabiliriz. O zaman, aynı çerez payını yenmek için çocuğun daha fazla kutu açmak zorunda kalacağını gösterebilirsiniz.

Bu gerçekten beklentilerle ilgili, ancak en kötü örnek olay senaryosunu ele alalım.

8 çerez varsa ve en az bir durumda 10 kutudan yarım yani 4 yemek istiyorsak sadece 6 kutu açmamız yeterli. Bu% 60 - sadece yaklaşık bir buçuk. 10x10'dan (yine en kötü durumda) - 96 (%). Ve 10x10x10 - 996 (% 99,6) dan. Neredeyse hepsi bu!

Depo odası benzetmesi olabilir ve odalar arasında dolaşılan mesafe burada kutulardan daha iyi yapardı.