Maksimum Olabilirlik Tahmini ve Degrade İniş arasındaki fark nedir?

Her iki yöntemin de artıları nelerdir?

— GeorgeOfTheRF
kaynak

Google aramada zaten var olan bu iki yöntemin tanımını aramıyorum. Hangi durumda hangi yöntemin tercih edildiğini anlamaya çalışıyorum. Ör: Bigdata için daha iyi vs. biri diğerinden daha eser ben vs pratik yönleri hakkında hangi görüşmeler herhangi iyi malzemeyi bulamadık olacak

— GeorgeOfTheRF

Kuzgun nasıl yazı masası gibidir?

— whuber

@ML_Pro GD herhangi bir şekilde istatistiksel modelleme ile ilgili değildir, bir algoritmadır. İstatistiksel problemleri çözmek için araçları (GD gibi) öğrenmeden önce istatistiksel çıkarımın daha iyi anlaşılması için bazı giriş istatistik el kitabıyla başlayabilirsiniz .

— Tim

Degrade İniş ve Beklenti Maksimizasyonu arasındaki farkı sormak mı istediniz (genellikle MLE'deki optimizasyon problemini çözmek için kullanılır)?

— Sobi

Yanıtlar:

Maksimum olabilirlik tahmini ,istatistiksel modellerde parametrelerin , şu şekildetanımlanmış olabilirlik işlevinien üst düzeye çıkararak tahmin etmeye yönelik genel bir yaklaşımdır

L (θ | X) = f (X | θ)

$L(\theta|X) = f(X|\theta)$

bu, veri elde etme ihtimali olan parametresinin bazı değer verilir . Belirli bir problemin olabilirlik fonksiyonunu bilmek, sahip olduğunuz verileri elde etme olasılığını en üst düzeye çıkaracak arayabilirsiniz . Bazen tahmin edicileri biliyoruz, örneğin aritmetik ortalama normal dağılım için parametresi için bir MLE tahmin edicidir , ancak diğer durumlarda optimizasyon algoritmaları kullanmayı içeren farklı yöntemler kullanabilirsiniz. ML yaklaşımı size değil nasıl optimal değeri bulmak için - sadece tahminde ve tahminim daha iyi hangi karşılaştırma olasılığını kullanabilirsiniz - bu sadece nasıl anlatır karşılaştırmak ait eğer bir değer $X$ $\theta$ $\theta$ $\mu$ $\theta$ diğerinden "daha muhtemeldir". $\theta$

Gradyan inişi bir optimizasyon algoritmasıdır . Bu algoritmayıbirçok farklı fonksiyonunminimum (veya maksimum, daha sonra degrade yükselmesi olarak adlandırılır)bulmak için kullanabilirsiniz. Algoritma, minimize ettiği işlevin ne olduğunu gerçekten umursamıyor, sadece istendiği şeyi yapıyor. Dolayısıyla optimizasyon algoritmasını kullanarak, ilgilenilen parametrenin bir değerinin diğerinden "daha iyi" olup olmadığını nasıl bir şekilde anlayacağınızı bilmeniz gerekir. Algoritmanızı en aza indirmek için bazı işlevler sağlamanız gerekir ve algoritma minimum değerini bulmakla ilgilenir.

Farklı yöntemler kullanarak maksimum olabilirlik tahminleri elde edebilirsiniz ve optimizasyon algoritması bunlardan biridir. Diğer yandan, eğim inişi, olasılık işlevi dışındaki işlevleri en üst düzeye çıkarmak için de kullanılabilir.

— Tim
kaynak

@ML_Pro Ayrıntılı bilgi bulabileceğiniz iki bağlantı sağladım, bu cevapları çoğaltmaya ihtiyaç olduğunu düşünmüyorum.

— Tim

@ ML_Pro Cevabımda yazdığım gibi, bunlar farklı şeyler ve bunları karşılaştıramazsınız ...

— Tim

Evet, ancak MLE genel bir yaklaşımdır ve GD sadece bir dizi farklı işlevi en aza indirmek için kullanabileceğiniz bir algoritmadır. Cebirden cep hesap makinesine kıyasla ...

— Tim

MLE, amaç fonksiyonunu (olasılık fonksiyonu) belirtir; GD, objektif fonksiyon belirtildikten sonra bir probleme en uygun çözümü bulur. Maksimum olasılık sorununu çözmek için GD'yi (veya diğer optimizasyon algoritmalarını) kullanabilirsiniz ve sonuç maksimum olasılık tahmincisi olacaktır.

— jbowman

@ML_Pro, cevabımda verdiğim bağlantılarda açıklanıyor. Kısacası: evet pdf'lerin bir ürünüdür. Ürün çünkü verinin geçerli olduğunu varsayıyoruz. Pdf'ler olarak tanımlanıyor çünkü olasılık modelinden bahsediyoruz.

— Tim

-3

f = l (θ)

$f = l(\theta)$

\frac{d f}{d θ} = 0

$\frac{ df }{ d\theta } = 0$

θ

$\theta$ f

Ancak lojistik regresyonun olasılık fonksiyonu bu şekilde kapalı bir çözüm değildir . Yani başka bir yöntem kullanmalıyız gradient descent.

— Belter
kaynak

@Tim, buraya bir şeyler görebilirsiniz courses.cs.washington.edu/courses/cse446/13sp/slides/...

— Belter

"Regresyon katsayıları genellikle maksimum olabilirlik tahmini kullanılarak tahmin edilir" ( en.wikipedia.org/wiki/Logistic_regression )

— Tim

Maksimum olasılık tahmini, regresyon katsayılarını tahmin etmek için bir tür yöntemdir, ancak MLE'nin çözümünü bulmak için birkaç yolumuz vardır. Yani likelihood function+ gradient descent(olasılık fonksiyonunun çözümünü elde etmek için) kullanmak hala MLE yapmanın bir yoludur.

— Belter

Bu cümleyi

Unlike linear regression, we can no longer write down the MLE in closed form. Instead, we need to use an optimization algorithm to compute it. For this, we need to derive the gradient and Hessian.

Machine Learning: Olasılıksal Bir Bakış Açısı'ndan görebilirsiniz, Kevin Murphy.

— Belter

... o zaman cevabınızı ifade etmek kafa karıştırıcıdır, çünkü lojistik regresyon için ML kullanmıyoruz ve bunun yerine GD kullanıyoruz.

— Tim