İnsanlar neden pürüzsüz verileri sever?

Gauss Süreci Regresyonu için Kareli Üstel çekirdek (SE) kullanacağım. Bu çekirdeğin avantajları: 1) basit: sadece 3 hiperparametre; 2) pürüzsüz: bu çekirdek Gauss'tur.

İnsanlar neden 'pürüzsüzlüğü' çok seviyor? Gauss çekirdeğinin sınırsız biçimde ayırt edilebilir olduğunu biliyorum, ama bu çok önemli mi? (SE çekirdeğinin bu kadar popüler olmasının başka nedenleri varsa lütfen bize bildirin.)

Not: Gerçek dünyada (gürültüsüz) çoğu sinyalin pürüzsüz olduğu söylendi , bu yüzden onları modellemek için pürüzsüz çekirdekler kullanmak mantıklı. Herkes bu kavramı anlamama yardımcı olabilir mi?

" Natura non facit saltus " felsefede eski bir prensiptir. Ayrıca güzellik ve uyum da bu prensiplerdir. İstatistikler üzerinde etkisi olan bir başka felsefi ilke de nitel düşünmedir: Geleneksel olarak etki boyutlarında düşünmüyoruz, ancak bir etkinin var olup olmadığını düşünüyoruz. Bu hipotez testine izin verdi. Tahmin ediciler, doğa algınız için çok hassastır. Olduğu gibi al.

İstatistikler insan algısına hizmet etmelidir. Böylece süreksizlik noktaları beğenilmez. Biri hemen sorardı: Neden tam da bu bir süreksizlik? Özellikle yoğunluk tahmininde, bu süreksizlik noktaları çoğunlukla gerçek verilerin asimptotik olmayan doğasından kaynaklanmaktadır. Ancak belirli sonlu örneğiniz hakkında değil, altta yatan doğal gerçek hakkında bilgi edinmek istemezsiniz. Eğer varsa inanmak bu doğa atlamak değil, o zaman tahmincileri pürüzsüz gerekmez.

Sıkı matematiksel bir bakış açısından, bunun pek bir nedeni yoktur. Ayrıca, Leibniz ve Newton'un doğal fenomenlerinin pürüzsüz olmadığı bilindiğinden. Çalıştığınız doğal bilim insanıyla konuşun. Pürüzsüzlük / süreksizlik görüşüne meydan okuyun ve ardından ikiniz de anlayışınız için en faydalı olmaya karar verdiğiniz şeyi yapın.

Pratik meselelerin iki nedeni daha var. Birincisi, analitik fonksiyonların matematiksel olarak çalışılması çok daha kolaydır ve bu nedenle algoritmalarınız hakkında teoremleri kanıtlar ve daha güçlü bir temel sağlar.

İkincisi duyarlılıktır. Bir makine öğreniciniz olduğunu varsayalım$M$ çıktısı süreksizliği olan $x=x_0$. O zaman çok farklı sonuçlar elde edersiniz.$x_0 - \epsilon$ ve $x_0 + \epsilon$, ama sorun değil çünkü süreksiz hale getirdik. Şimdi, modelinizi biraz farklı verilerle eğitirseniz ($\tilde M$), rastgele gürültünün biraz farklı olduğu yerlerde, süreksizlik artık $\tilde x_0$, muhtemelen çok yakın$x_0$, ancak tam olarak değil ve şimdi, $\epsilon$, $x_0 + \epsilon$ için çok farklı bir değere sahip $M$ ve için $\tilde M$.

Soruna bağlı olarak birçok motivasyon var. Ancak fikir aynıdır: daha iyi bir çözüm elde etmek ve karmaşıklıkla başa çıkmak için bazı problemler hakkında önceden bilgi edinme. Bunu koymanın daha bir yolu: model seçimi. Burada model seçimine güzel bir örnek .

Derinlemesine ilgili başka bir fikir, veri örneklerinin benzerlik ölçüsünü bulmaktır (bu fikirle ilgili farklı terimler vardır: topografik eşlemeler, mesafe metriği, manifold öğrenme, ...).

Şimdi pratik bir örneği ele alalım: optik karakter tanıma. Bir karakterin görüntüsünü alırsanız, sınıflandırıcının değişmezliklerle baş etmesini beklersiniz: görüntüyü döndürür, yerinden oynatır veya ölçeklendirirseniz, onu algılayabilmelidir. Ayrıca, girdiye bir miktar değişiklik uygularsanız, her iki örnek de (orijinal ve değiştirilenler çok benzer) olduğundan, sınıflandırıcınızın yanıtının / davranışının da biraz değişmesini beklersiniz. Bu, düzgünlüğün uygulanmasının devreye girdiği yerdir.

Bu fikirle ilgili çok sayıda makale var, ancak bu (desen tanımada dönüşüm değişmezliği, teğet uzaklık ve teğet yayılım, Simard ve ark.) Bu fikirleri ayrıntılı olarak göstermektedir.