Maksimum olasılık tahmini kullandık mı?

İstatistikte şimdiye kadar maksimum olabilirlik tahmininin kullanılıp kullanılmadığını merak ediyorum. Biz kavramını öğreniyoruz ama ne zaman kullanıldığını merak ediyorum. Verilerin dağılımını varsayarsak, biri ortalama diğeri varyans için olmak üzere iki parametre buluruz, ancak gerçekte gerçek durumlarda kullanıyor musunuz?

Birisi bana bunun için kullanıldığı basit bir durumu söyleyebilir mi?

İstatistikte şimdiye kadar maksimum olabilirlik tahmininin kullanılıp kullanılmadığını merak ediyorum.

Kesinlikle! Aslında çok fazla - ama her zaman değil.

Biz kavramını öğreniyoruz ama ne zaman kullanıldığını merak ediyorum.

İnsanlar parametrik bir dağılım modeline sahip olduklarında, genellikle maksimum olabilirlik tahminini kullanmayı seçerler. Model doğru olduğunda, maksimum olabilirlik tahmin edicilerinin bir dizi kullanışlı özelliği vardır.

Bir örnek için - genelleştirilmiş doğrusal modellerin kullanımı oldukça yaygındır ve bu durumda ortalamayı tanımlayan parametreler maksimum olasılıkla tahmin edilir.

Bazı parametrelerin maksimum olasılıkla tahmin edildiği ve diğerlerinin olmadığı tahmin edilebilir. Örneğin, aşırı dağılmış bir Poisson GLM'yi düşünün - dispersiyon parametresi maksimum olasılıkla tahmin edilmeyecektir, çünkü MLE bu durumda yararlı değildir.

Verilerin dağılımını varsayarsak, iki parametre buluruz

Bazen iki tane olabilir, ancak bazen bir parametreniz, bazen üç veya dört veya daha fazla parametreniz olabilir.

biri ortalama, diğeri varyans için,

Belki belirli bir model mi düşünüyorsunuz? Bu her zaman böyle değildir. Üstel dağılım veya Poisson dağılımı veya binom dağılımı parametresini tahmin etmeyi düşünün. Bu vakaların her birinde bir parametre vardır ve varyans, parametrenin ortalamayı tanımlayan bir fonksiyonudur.

Veya üç parametreye sahip genelleştirilmiş bir gama dağılımını düşünün . Veya dört parametreye sahip (belki de şaşırtıcı olmayan) dört parametreli bir beta dağılımı . Ayrıca (belirli parametreleştirmeye bağlı olarak) ortalama veya varyansın veya her ikisinin de tek bir parametre tarafından değil, birkaçının işlevleri ile temsil edilebileceğini unutmayın.

Örneğin, oldukça yaygın kullanımı gören üç parametrelendirme olan gama dağılımı - en yaygın ikisi hem ortalamanın hem de varyansın iki parametrenin işlevleri olduğu.

Tipik olarak bir regresyon modelinde veya bir GLM'de veya bir hayatta kalma modelinde (diğer birçok model tipinde), model birden fazla kestiriciye bağlı olabilir, bu durumda model altındaki her gözlemle ilişkili dağılımın kendi parametresinden biri olabilir (veya hatta birçok belirteç değişkeni ("bağımsız değişkenler") ile ilişkili birkaç parametre).

Veri dağıtımına ilişkin varsayımlar göz önüne alındığında, olabilirlik tahmincilerini en üst düzeye çıkarırken şüpheli görünebilirken, Yarı Maksimum Olabilirlik Tahmin Edicileri sıklıkla kullanılır. Fikir, MLE için bir dağıtım kabul edip çözerek başlamak, daha sonra açık dağıtım varsayımını kaldırmak ve bunun yerine tahmincinizin daha genel koşullar altında nasıl performans gösterdiğine bakmaktır. Yani Quasi MLE, bir tahminci elde etmenin akıllı bir yolu haline gelir ve işin büyük kısmı tahmin edicinin özelliklerini türetir. Dağılımsal varsayımlar düştüğünden, yarı MLE genellikle hoş verimlilik özelliklerine sahip değildir.

$x_1, x_2, ..., x_n$$X$$X \sim N (\mu, \sigma^2)$$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$$\hat\sigma^2$

Maksimum olabilirlik tahmini genellikle makine öğrenmede eğitim için kullanılır:

• sinir ağları, örneğin Sinir Ağ ağırlıklarını tahmin etmek için MLE kullanabilir miyiz?
• doğrusal, lojistik regresyon ve çok sınıflı lojistik regresyon, örn. Neden doğrusal ve lojistik regresyon katsayıları aynı yöntem kullanılarak tahmin edilemez?
• koşullu rastgele alan (CRF), ör. https://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
• gizli Markov modeli (HMM), örneğin https://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108#Learning

Bazı durumlarda, bazen maksimum posteriori kestirime eşdeğer olan bir düzenlileştirme eklemeyi tercih ettiğine dikkat edin , örn. Kement cezası neden daha önce çift üslü (Laplace) ile eşdeğerdir? .

Birisi bana bunun için kullanıldığı basit bir durumu söyleyebilir mi?

Çok tipik bir durum lojistik gerilemedir. Lojistik regresyon, veri noktalarını sınıflandırmak için makine öğrenmesinde sıklıkla kullanılan bir tekniktir. Örneğin, lojistik regresyon, bir e-postanın spam olup olmadığını veya spam olup olmadığını veya bir kişinin hastalığı olup olmadığını sınıflandırmak için kullanılabilir.

$x_i$$h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

$\theta$

$\hat\theta$$-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$

MLE'yi her zaman kullanıyoruz, ama hissetmeyebiliriz. Göstermek için iki basit örnek vereceğim.

örnek 1

$8$$10$$\theta$$\theta=0.8$

Saymayı neden kullanmalıyım? bu aslında örtülü olarak MLE kullanıyor! Sorun nerede

Denklemi çözmek için biraz analize ihtiyacımız olacak, ancak sonuç önemlidir.

ÖRNEK 2

Verilerden Gauss dağıtım parametrelerini nasıl tahmin ederiz? Ampirik ortalamaları tahmini ortalama olarak ve ampirik varyansı da tahmini varyans olarak kullanıyoruz, bu da MLE'den geliyor !.

Kablosuz iletişimde bazı maksimum olasılık kullanımları:

• Yedek kodlu veya yedeksiz gürültülü sinyallerden dijital verilerin kodunun çözülmesi.
• Alıcılarda zaman, faz ve frekans kaymalarının tahmini.
• Yayılma kanalının (parametrelerinin) tahmini.
• Gecikme, varış açısı ve Doppler kaymasının tahmini (örneğin, radar).
• Bir mobil konumun tahmini (örn. GPS).
• Her türlü dağıtılmış ayarın senkronizasyonu için saat ofseti tahmini.
• Çok sayıda kalibrasyon prosedürü.