Olasılıksız çıkarsama - bu ne anlama geliyor?

Son zamanlarda, literatürde bantlanmış 'olasılıksız' yöntemlerin farkına vardım. Ancak, bir çıkarım veya optimizasyon yönteminin olasılıksız olmasının ne anlama geldiğinden emin değilim .

Makine öğreniminde amaç genellikle bazı parametrelerin bir işleve uyma olasılığını en üst düzeye çıkarmaktır, örneğin sinir ağındaki ağırlıklar.

Olasılıksız bir yaklaşımın felsefesi tam olarak nedir ve neden GAN'lar gibi çekişmeli ağlar bu kategoriye girer?

İstatistiklerdeki olasılıklara dayanmayan birçok yöntem örneği vardır (makine öğrenimi hakkında bilmiyorum). Bazı örnekler:

1. Fisher saf önem testleri . Sadece keskin bir şekilde tanımlanmış sıfır hipotezine dayanır (Lady Süt Tadım Çay deneyinde son süt ile süt arasında hiçbir fark yok gibi) Bu varsayım sıfır hipotez dağılımına ve sonra p değerine yol açar. Olasılık yok. kendi başına güç analizi (resmi olarak tanımlanmış alternatif yok) veya güven aralıkları (resmi olarak tanımlanmış parametre yok) için temel oluşturamaz.

2. 1. ile ilişkili randomizasyon testleri Randomizasyon testi ile Permütasyon testi arasındaki fark, en temel haliyle saf bir önem testidir.

3. Önyükleme, bir olasılık fonksiyonuna gerek olmadan yapılır. Ancak olasılık fikirleriyle, örneğin ampirik olasılıkla bağlantı vardır .

4. Sıra tabanlı yöntemler genellikle olasılık kullanmaz.

5. Sağlam istatistiklerin çoğu.

6. Ortanca (veya diğer miktarlar) için güven aralıkları sipariş istatistiklerine dayanabilir. Hesaplamalara hiçbir olasılık dahil değildir. Median güven aralığı , ampirik ortanca varyansı için en iyi tahmincisi

7. V Vapnik , Black Swan Taleb ve Black Swan'da tartışıldığı gibi https://en.wikipedia.org/wiki/Epilogism ile ilişkili gibi görünen dönüştürücü öğrenme fikrine sahipti .

8. $\text{N}(\mu, \sigma^2)$$\text{N}(9.37, 2.12^2)$

Şu anda bir olasılık fonksiyonunuz var, üzerinde inşa edilecek muazzam bir makine var. Bayesliler onsuz yapamazlar ve çoğu kişi çoğu zaman olasılığı kullanır. Ama bile Bayesians, olmadan yapmaya gördükleri bir yorumda işaret edilmektedir Approximate_Bayesian_computation . Bu konuda yeni bir metin bile var .

Ama nereden geliyorlar? Her zamanki gibi bir olasılık işlevi elde etmek için, haklı çıkarılması zor olabilecek birçok varsayımlara ihtiyacımız var.

Olasılık fonksiyonlarını bir şekilde bu olasılıksız yöntemlerin bazılarından yapıp yapamayacağımızı sormak ilginçtir. Örneğin, 6. maddede, sipariş istatistiklerinden hesaplanan medyan (bir aile) güven aralıklarından bir olasılık işlevi oluşturabilir miyiz? Bunu ayrı bir soru olarak sormalıyım ...

GAN'larla ilgili son sorunuz başkalarına bırakılmalı.

Spesifik olarak, [son] olasılıksız yöntemler ABC algoritmalarının yeniden yazılmasıdır, burada ABC yaklaşık Bayes hesaplaması anlamına gelir . Bu, kapalı form olabilirlik işlevinin kullanılmasını gerektirmeyen, ancak yine de belirli bir istatistiksel modeli incelemeyi amaçlayan çıkarım yöntemlerini kapsamayı amaçlamaktadır. Olasılıkla bağlantılı hesaplama zorluğundan muaftırlar, ancak bu olasılığı üreten modelden değiller. Örneğin bakınız

1. Grelaud, A; Marin, JM; Robert, C; Rodolphe, F; Tally, F (2009). Msgstr "Gibbs rastgele alanlarında model seçimi için olasılıksız yöntemler". Bayes Analizi. 3: 427-442 .
2. Ratmann, O; Andrieu, C; Wiuf, C; Richardson, S (2009). "Protein ağı evrimine bir uygulama ile, olasılıksız çıkarımlara dayanan model eleştirisi". Amerika Birleşik Devletleri Ulusal Bilimler Akademisi bildirileri. 106: 10576-10581 .
3. Bazin, E., Dawson, KJ ve Beaumont, MA (2010). Bayesçi bir hiyerarşik modelde nüfus yapısının ve yerel adaptasyonun sorunsuz bir şekilde çıkarılması. Genetik, 185 (2), 587-602 .
4. Didelot, X; Everitt, RG; Johansen, AM; Lawson, DJ (2011). Msgstr "Model kanıtların olasılıksız tahmini". Bayes Analizi. 6: 49-76 .
5. Gutmann, M. ve Corander, J. (2016) Simülatör tabanlı istatistiksel modellerin olasılıksız çıkarımı için Bayes optimizasyonu Journal of Machine Learning Research .

Yanıtların yalanına eklemek için, asimtotik istatistikler aslında olasılıklardan uzaktır.

Buradaki bir "olasılık", verilerin olasılık modelini ifade eder . Bunu umursamayabilirim. Ancak, ortalama gibi, verilerin yeterli bir özeti olan basit bir tahminci bulabilirim ve dağılımın ortalaması hakkında çıkarım yapmak istiyorum (var olduğunu varsayarak, genellikle makul bir varsayımdır).

Merkezi limit teoremi ile, varyans da mevcut olduğunda ortalamanın büyük N'de yaklaşık bir normal dağılımı vardır. Doğru boyutta tutarlı testler oluşturabilirim (null yanlış olduğunda N sonsuza giderken güç 1'e gider). Sonlu örneklem büyüklüklerinde ortalamanın örnekleme dağılımı için bir olasılık modelim (yanlış olan) olsa da, "verilerin yararlı özetini" (ortalama) artırmak için geçerli çıkarım ve tarafsız tahminler elde edebilirim.

Medyan için% 95 CI'ya dayanan testlerin (yani @ kjetilbhalvorsen'in cevabındaki seçenek 6) da tutarlı olduklarını göstermek için merkezi limit teoremine dayandığına dikkat edilmelidir . Bu nedenle, basit T-testini "parametrik olmayan" veya "olabilirlik tabanlı" bir test olarak değerlendirmek çılgınca değildir.

$p(y|x)$$x$$y$$p(y|x) = N(y|\mu(x), \sigma)$$p(y|x)$

$p(y|x)$