ANOVA, maksimum olasılığa değil, moment yöntemine mi dayanıyor?

ANOVA'nın tahminlerini moment yöntemini kullanarak yaptığı çeşitli yerlerde görüyorum.

Bu iddiayla kafam karıştı, çünkü anların yöntemine aşina olmasam da, anlayışım bunun maksimum olabilirlik yönteminden farklı ve ona eşit olmayan bir şey olduğu; Öte yandan, ANOVA kategorik prediktörlerin ve regresyon parametrelerinin EKK tahmini doğrusal bir regresyon olarak görülebilir olduğu maksimum olabilirlik.

Yani:

ANOVA prosedürlerini anların yöntemi olarak nitelendiren nedir?
ANOVA'nın kategorik öngörücülerle OLS'ye eşdeğer olduğu düşünüldüğünde, maksimum olasılık değil mi?
Bu iki yöntemin bir şekilde olağan ANOVA durumunda eşdeğer olduğu ortaya çıkarsa, farkın önemli hale geldiği bazı ANOVA durumları var mı? Dengesiz tasarım? Tekrarlanan önlemler? Karma (konular arası + konular arası) tasarım?

— amo diyor Reinstate Monica
kaynak

Basit ortamda ve basit olarak bir ve iki yönlü ANOVA'yı kastediyorum, ANOVA, eşit varyanslara sahip normal dağılımlar altında bir LRT'den türetilir, bu nedenle kullanılan maksimum olasılıktır. Elbette normal durum için, mle ve mom tahmin edicileri çakışır, bu nedenle ayrım çok önemli değildir. Bununla birlikte, daha karmaşık ortamlarda, LRT'leri türetmektense, OLS regresyonuna güveniyoruz. OLS sadece normal dağılım altındaki mle'dir ve eğer ortogonallik olan kalıntılarla dayatırsak, daha genel ortamda bir anne tahmincisidir.

— JohnK

@JohnK, yorumunuz için çok teşekkürler ama bazı kısımlarını, özellikle ikinci kısmı anlamakta zorlanıyorum: ANOVA'nın LRT yerine OLS'ye (ve neden) bağlı olduğu "daha karmaşık ayarlar" nelerdir? OLS neden bu "daha genel ortamda" MLE değil - Ben herhangi bir ANOVA senaryosunda normal hataların her zaman varsayıldığını düşündüm? Kalanlarla ortogonallik bunu yapmak zorunda mı? Yorumunuzu bir cevap haline getirirseniz çok sevinirim.

— amip: Reinstate Monica

@amip. ANOVA'nın bir an tahmincisi olma yöntemi hakkındaki ilk noktanıza hitap etmek için cevabımı düzenledim. Bu sadece rastgele efektler için geçerlidir.

— Placidia

ANOVA ile ilk kez 1978'de Oxford'da yüksek lisans öğrencisiyken karşılaştım. Modern yaklaşımlar, çoklu regresyon modelinde sürekli ve kategorik değişkenleri birlikte öğreterek, genç istatistikçilerin neler olup bittiğini anlamasını zorlaştırıyor. Böylece daha basit zamanlara geri dönmek faydalı olabilir.

Orijinal formunda, ANOVA aritmetik bir alıştırmadır, böylece toplam kareler toplamı, tedaviler, bloklar, etkileşimler vb. İle ilişkili parçalara ayırırsınız. Dengeli bir ortamda, sezgisel anlamı olan karelerin toplamları (SSB ve SST gibi), ayarlanan toplam karelerin toplamına eklenir. Bütün bunlar Cochran Teoremi sayesinde işe yarar . Cochran'ı kullanarak, bu terimlerin beklenen değerlerini her zamanki boş hipotezler altında hesaplayabilir ve F istatistikleri oradan akabilir.

Bonus olarak, Cochran ve karelerin toplamlarını düşünmeye başladığınızda, dik kontrastları kullanarak tedavi toplam karelerinizi dilimlemeye ve küp küp doğramaya devam etmek mantıklıdır. ANOVA tablosundaki her girişin istatistikçilere yönelik bir yorumu olmalı ve test edilebilir bir hipotez vermelidir.

Geçenlerde MOM ve ML yöntemleri arasındaki farkın ortaya çıktığı bir cevap yazdım . Soru rastgele etki modellerinin tahmin edilmesine neden oldu. Bu noktada, geleneksel ANOVA yaklaşımı, şirketi maksimum olasılık tahmini ile tamamen parçalamaktadır ve etki tahminleri artık aynı değildir. Tasarım dengesiz olduğunda, aynı F istatistiklerini de almazsınız.

$\sigma^2_p$ $\sigma^2$ $\sigma^2 + n\sigma_p^2$ $n$ $\hat{\sigma_b^2}$ . ANOVA, rastgele etki varyansı için bir moment tahmincisi yöntemi verir. Şimdi, karışık efekt modelleri ile bu tür problemleri çözme eğilimindeyiz ve varyans bileşenleri maksimum olasılık tahmini veya REML ile elde edilmektedir.

Bu şekilde ANOVA, bir moment prosedürü yöntemi değildir. Karelerin toplamını (veya daha genel olarak, yanıtın ikinci dereceden bir biçimini) anlamlı hipotezler veren bileşenlere ayırmaya başlar. Karelerin toplamının F testlerinin çalışması için ki kare dağılımlarına sahip olmasını istediğimizden, bu normalliğe bağlıdır.

Maksimum olabilirlik çerçevesi daha geneldir ve karelerin toplamının geçerli olmadığı genelleştirilmiş doğrusal modeller gibi durumlar için geçerlidir. Bazı yazılımlar (R gibi), asovatotik ki-kare dağılımları ile olasılık oran testlerine anova yöntemleri belirterek karışıklığı davet eder. Biri, "anova" teriminin kullanımını haklı çıkarabilir, ancak kesinlikle, arkasındaki teori farklıdır.

— Placidia
kaynak

Tek yönlü ve iki yönlü ANOVA F-testi olan bir olabilirlik oran testi ve bana inanmıyorsanız size Matematiksel İstatistik, bölüm 9 Hogg ve Craig, Intrduction danışabilirsiniz. Ayrıca, normal regresyonda kullanılan F testi de bir LRT'dir, bunun için çok sayıda referanstır.

— JohnK

Kontrol edeceğim. Şimdilik paragrafı kaldırdım.

— Placidia

+1, cevap için çok teşekkür ederim. Bu arada sorumu tetikleyen tam olarak sizin bağlı cevabınız. Yazdıklarınızda pek anlamadığım birçok şey var. Yeni yıl seyahat olacak ve bunu düşünmek için hiçbir zaman olacak, ama geri Ocak ayında bir kez bu konuya geleceğim. Bu arada, bir kez daha @JohnK'yı yorumlarda yaptığı noktalar üzerine genişleyen bir cevap göndermeye teşvik etmek istiyorum. Özellikle belirli bir örnekle, biraz daha teknik açıklamayı takdir ediyorum. Mutlu Noeller ve hepinize mutlu yıllar!

— amip diyor Reinstate Monica

Size de mutlu Noeller. Bağlantılı yazımda, sadece geleneksel yaklaşımda MOM olan rastgele etki varyansı tahminini düşünüyordum. Düşüncem istediğimden daha genel geliyorsa üzgünüm.

— Placidia

1.5 yıl sonra cevabınızı tekrar okudum ve bunun oldukça net olduğunu fark ettim, bu yüzden sonunda kabul edilmiş olarak işaretledim :-) Şerefe.

— amip diyor ki Reinstate Monica