Gerçekten sadece mantıksallık için bir kolaylık, başka bir şey değil.
Toplamların ürünlere karşı kolaylığını kastediyorum: , toplamların diferansiyel veya entegrasyon gibi birçok açıdan ele alınması daha kolaydır. Sadece üstel aileler için kolaylık değil, demeye çalışıyorum.ln(∏ixi)=∑ilnxi
Rastgele bir örnekle uğraştığınızda , olasılıklar şu şekildedir: , bu nedenle mantıksallık, bu ürünü, bunun yerine manipüle edilmesi ve analiz edilmesi daha kolay olan toplamın içine böler. Umursadığımız her şeyin maksimumun noktası olmasına yardımcı olur, maksimumdaki değer önemli değildir, yani logaritma gibi monoton dönüşümleri uygulayabiliriz.L=∏ipi
Eğrilik sezgisinde. Temelde sonunda mantıksallığın ikinci türevi ile aynı şey.
GÜNCELLEME: Eğrilikte kastettiğim bu. fonksiyonunuz varsa , eğriliği Wolfram'da (14'e bakınız ) olacaktır:
κ = f ″ ( x )y=f(x)
κ=f′′(x)(1+f′(x)2)3/2
Günlük olasılığının ikinci türevi:
A=(lnf(x))′′=f′′(x)f(x)−(f′(x)f(x))2
Maksimum noktasında, ilk türev açıkça sıfırdır, bu yüzden şunu elde ederiz:
Dolayısıyla, quip olasılıkın eğriliğidir ve mantıksallığın ikinci türevi de aynı şeydir.
κmax=f′′(xmax)=Af(xmax)
Büyük olasılıkla ilk türev de ancak maksimum nokta etrafında sadece küçükse Öte yandan, yani olabilirlik fonksiyonu o zaman olsun düzdür:
düz olabilirlik Şimdi bizim için iyi bir şey değildir, çünkü maksimum değeri sayısal olarak daha zor hale getirir ve maksimum olasılık etrafındaki diğer noktalardan daha iyi değildir, yani parametre tahmin hataları yüksektir.
κ≈f′′(x)≈Af(x)
Ve yine, hala eğrilik ve ikinci türev ilişkimiz var. Peki Fisher neden olabilirlik fonksiyonunun eğriliğine bakmadı? Aynı rahatlık nedeni ile düşünüyorum. Ürün yerine toplamlar nedeniyle mantıksallığı değiştirmek daha kolaydır. Böylece, mantık olasılığının ikinci türevini analiz ederek olasılığın eğriliğini inceleyebilirdi. Denklem eğriliği için çok basit görünse de , gerçekte, ürünün ikinci türevlerin toplamından daha karışık olan ikinci bir türevini alıyorsunuz.κmax=f′′(xmax)
GÜNCELLEME 2:
İşte bir gösteri. (Tamamen oluşturulmuş) bir olasılık fonksiyonu, a) eğriliği ve b) kütüğünün 2. türevi çiziyorum. Sol tarafta dar olasılığı görüyorsunuz ve sağ tarafta geniş. Maksimum olabilirlik noktasında a) ve b) olması gerektiği gibi nasıl birleştiklerini görürsünüz. Daha da önemlisi, olabilirlik fonksiyonunun genişliğini (veya düzlüğünü) log-olasılığının 2. türevini inceleyerek inceleyebilirsiniz. Daha önce yazdığım gibi, ikincisi analiz etmek için öncekinden teknik olarak daha basittir.
Şaşırtıcı derecede daha derin olmayan 2. mantıksallık türevi, maksimumu etrafında daha düz olasılık fonksiyonunu gösterir, bu da daha büyük parametre tahmin hatasına neden olur.
Grafikleri yeniden oluşturmak istediğinizde MATLAB kodu:
f=@(x,a)a.^2./(a.^2+x.^2);
c = @(x,a)(-2*a.^2.*(a.^2-3*x.^2)./(a.^2+x.^2).^3/(4*a.^4.*x.^2/(a.^2+x.^2).^4+1).^(3/2));
ll2d = @(x,a)(2*(x.^2-a.^2)./(a.^2+x.^2).^2);
h = 0.1;
x=-10:h:10;
% narrow peak
figure
subplot(1,2,1)
a = 1;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Narrow Likelihood'
ylim([-2 1])
% wide peak
subplot(1,2,2)
a=2;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Wide Likelihood'
legend('likelihood','curvature','2nd derivative LogL','location','best')
ylim([-2 1])
GÜNCELLEME 3:
Yukarıdaki kodda, eğrilik denklemine keyfi çan şekilli bir fonksiyon ekledim, daha sonra logunun ikinci türevini hesapladım. Hiçbir şeyi yeniden ölçeklemedim, değerler daha önce bahsettiğim denkliği göstermek için doğrudan denklemlerden.
İşte Fisher'ın hala üniversitedeyken yayınladığı ilk makale, "Frekans Eğrilerini Takmak için Mutlak Bir Kriter Üzerine", Messenger of Mathmatics, 41: 155-160 (1912)
logP′=∑n1logp
logP=∫∞−∞logfdx
P
Belgeyi okurken dikkat edilmesi gereken bir şey, sadece maksimum olasılık tahmini çalışmasıyla başladı ve sonraki 10 yıl içinde daha fazla iş yaptı, bu yüzden MLE terimi bile bildiğim kadarıyla üretilmedi.