Çıkarım vs tahmin?

Makine öğrenmesi bağlamında "çıkarım" ve "tahmin" arasındaki farklar nelerdir ?

Bir acemi olarak, biz hissediyorum sonucuna rastgele değişkenler ve tahmin modeli parametreleri. Benim bu anlayış doğru mu?

Eğer değilse, tam olarak farklar nelerdir ve hangisini kullanmalıyım?

Ayrıca, hangisi “öğren” in eş anlamlısıdır?

Belirli bir veri setinden ve ilgili modelin uygunluğu da dahil olmak üzere ilişkili bir varsayım modelinden çıkarılabilecek sonuçların toplanmasına ilişkin istatistiksel çıkarım yapılmaktadır. Vikipedi'den alıntı yapmak ,

Çıkarım, bilinen veya doğru olduğu varsayılan binalardan mantıksal sonuç çıkarma işlemi veya işlemidir.

ve,

İstatistiksel çıkarım belirsizlik varlığında sonuç çıkarmak için matematiği kullanır.

Tahmin, çıkarımın bir yönünün değil, birisinin bilinmeyen parametreleri (verileri oluşturan varsayımsal model ile ilişkili) verilere dayanan en uygun çözümlerle (ve bu parametreler hakkında önceden bilgi almasıyla) değiştirmesidir. Her zaman rapor edilen tahminlerin belirsizliğinin değerlendirilmesiyle, çıkarımın ayrılmaz bir parçası olan değerlendirme ile ilişkilendirilmelidir.

Maksimum olabilirlik bir tahmin örneğidir, ancak çıkarımın tamamını kapsamaz. Buna karşılık, Bayesian analizi tam bir çıkarım makinesi sunuyor.

İken tahmini kendiliğinden bilinmeyen parametrelerin değerlerine (örneğin lojistik regresyon katsayılar veya destek vektör makineleri ayıran altdüzlem olarak), ile geliyor hedefleniyor istatistiksel çıkarsama girişimleri belirsizlik bir ölçü ve / veya bir olasılık ifadesi eklemek için parametrelerin değerleri (standart hatalar ve güven aralıkları). Eğer istatistikçinin varsaydığı model yaklaşık olarak doğru ise, yeni gelen verinin bu modele uymaya devam etmesi koşuluyla, belirsizlik beyanları bunlarda bazı gerçeklere sahip olabilir ve kullanımda ne sıklıkta hata yapacağınıza dair bir ölçü sağlayabilir. kararlarını almak için model.

Olasılık ifadelerinin kaynakları iki yönlüdür. Bazen, ölçtüğünüz şeyin altta yatan bir olasılık dağılımını varsayabilir ve bazı matematiksel cadılıklarla (Gauss dağılımının çok değişkenli entegrasyonu, vb.), Sonucun olasılık dağılımını elde edebilirsiniz (Gauss verisinin örnek ortalaması Gauss'tur. ). Bayesci istatistiklerinde konjugat öncelikleri bu büyücülük kategorisine girer. Diğer zamanlarda, kişi asimptotik (büyük örnek) sonuçlarına dayanmalı, yeterince büyük örneklemde işlerin belirli bir şekilde davranmaya mecbur olduğunu belirten sonuçlara dayanmak zorundadır (Merkezi Limit Teoremi: ortalama ile belirtilen verinin örnek ortalaması ve varyans , ortalama ve varyansı olan yaklaşık Gauss'tur.σ 2 u σ 2 /$\mu$$\sigma^2$$\mu$$\sigma^2/n$ , orijinal verilerin dağıtım şeklinden bağımsız olarak).

Makine öğrenmenin buna en yakını, numune eğitim ve doğrulama bölümlerine bölündüğünde çapraz doğrulama olur; ikincisi etkili bir şekilde, "eğer yeni veriler eski veriler gibi görünüyorsa, ancak tamamen modelimin kurulumunda kullanıldı, sonra hata oranının gerçekçi bir ölçüsü böyle ve böyle ". İstatistiksel varsayımlar yaparak modelin özelliklerini çıkarmaya çalışmak yerine, yukarıdaki CLT gibi herhangi bir matematiksel sonucu içermek yerine, aynı modeli veri üzerinde çalıştırarak tamamen deneysel olarak türetilmiştir. Muhtemelen, bu daha dürüst, ancak daha az bilgi kullandığından ve bu nedenle daha büyük örneklem boyutları gerektiriyor. Ayrıca, sürecin değişmediğini dolaylı olarak varsaymaktadır,

"Postereri çıkarım" ifadesi anlam ifade etse de (Ben bir Bayesian değilim, kabul edilen terminolojinin ne olduğunu tam olarak söyleyemem), bu çıkarım aşamasında herhangi bir varsayımda bulunmanın pek bir katkısı olduğunu sanmıyorum. Tüm Bayesian varsayımları, önceki modelde (1) ve varsayılan modelde (2) olup, bir kez kurulduktan sonra, posterior otomatik olarak takip eder (en azından Bayes teoremi ile teoride; pratik adımlar karmaşık olabilir; Gambling Sipps ... pardon, Gibbs örneklemesi bu posterior'a ulaşmanın nispeten kolay bir parçası olabilir). "Postereri çıkarmak" (1) + (2) anlamına gelirse, bu benim için istatistiksel bir çıkarımın tadıdır. (1) ve (2) ayrı ayrı belirtilirse ve "posterior çıkarımı" başka bir şey ise, o zaman yapmam.

Bir nüfusun temsili bir örneğiniz olduğunu varsayalım.

Çıkarım, bir örneği tahmin etmek için bu numuneyi kullandığınızda ve sonuçların belirli bir doğrulukla tüm popülasyona genişletilebileceğini belirtir. Çıkarım yapmak, sadece temsili bir örnek kullanarak popülasyona ilişkin varsayımlarda bulunmaktır.

Tahmin veri örneğinize uygun bir model seçtiğinizde ve modelin parametrelerini belirlediğiniz kesin bir hassasiyetle hesapladığınız zamandır. Buna kestirim denir, çünkü parametrenin gerçek değerlerini asla hesaplayamazsınız, çünkü yalnızca bir veri örneğiniz vardır, popülasyonun tamamını değil.

Bu, istatistiklerde geçmişi olmayan herkes için bir cevap verme girişimidir. Daha fazla ayrıntıyla ilgilenenler için , konuyla ilgili birçok yararlı referans vardır ( örneğin, bunun gibi ).

Kısa cevap:

$->$

$->$

Uzun cevap:

"Tahmin" terimi genellikle bilinmeyen bir değer için bir tahmin bulma sürecini tanımlamak için kullanılırken, "çıkarım" genellikle istatistiksel çıkarımı, rastgele değişkenlerin dağılımlarını (veya özelliklerini) keşfetme ve sonuçları çıkarmak için kullanma sürecini ifade eder.

Şu soruyu cevaplamayı düşünün: Ülkemdeki ortalama insan ne kadar uzun?

Bir tahmin bulmaya karar verirseniz, birkaç gün etrafta dolaşabilir ve sokakta karşılaştığınız yabancıları ölçebilir (bir örnek oluşturabilir) ve ardından tahmininizi örneğin numunenin ortalaması olarak hesaplayabilirsiniz. Az önce bir tahminde bulundun!

Öte yandan, tek bir sayı olduğunu bildiğiniz ve yanlış olması zorunlu olan bir tahminden daha fazlasını bulmak isteyebilirsiniz. Soruyu aşağıdaki gibi kesin bir güvenle cevaplamayı hedefleyebilirsiniz, örneğin: Ülkemdeki bir insanın ortalama yüksekliğinin 1,60m ile 1,90m arasında olduğu konusunda% 99 eminim.

Böyle bir iddiada bulunmak için, görüşmekte olduğunuz kişilerin yükseklik dağılımını tahmin etmeniz ve sonuçlarınızı bu bilgilere dayanarak - ki istatistiksel istatistiki çıkarımın temeli - yapmanız gerekir.

Akılda tutulması gereken en önemli şey (Xi'an'ın cevabında da belirtildiği gibi) bir tahminci bulmanın istatistiksel çıkarımın bir parçası olduğudur.

Günümüzde kariyerini ML alanında yapan farklı disiplinlerden insanlar var ve muhtemelen biraz farklı lehçeler konuşuyor olmaları muhtemel.

Ancak, hangi terimleri kullanacaklarsa kullansınlar, arkasındaki kavramlar belirgindir. Bu yüzden, bu kavramları açıklığa kavuşturmak ve bu lehçeleri tercih ettiğiniz şekilde çevirmek önemlidir.

Örneğin.

Bishop'ın PRML’sinde,

modelini öğrenmek için eğitim verilerini kullandığımız çıkarım aşaması$p(C_k|x)$

Öyle görünüyor ki burada Inference= Learning=Estimation

Ama diğer malzemesinde, çıkarsama tahmini, farklı olabilir nerede inferencearaçlar predictionise estimationaraç parametrelerinin öğrenme prosedürü.

Makine öğrenmesi bağlamında çıkarım, gözlemleriniz verilen gizli (gizli) değişkenlerin ayarlarının keşfedilmesi eylemini ifade eder. Bu aynı zamanda gizli değişkenlerinizin arka dağılımını belirlemeyi de içerir. Tahmin, model parametrelerinizi belirlemek üzere "nokta tahmini" ile ilişkili görünmektedir. Örnekler, maksimum olabilirlik tahminini içerir. Beklenti maksimizasyonunda (EM), E adımında, çıkarım yaparsınız. M adımında parametre tahminini yaparsınız.

Sanırım insanların "arka dağılımı tahmin etmekten daha fazla" "arka dağılımın sonucunu çıkardığını" söylediğini duyuyorum. İkincisi, olağan kesin çıkarımda kullanılmaz. Örneğin, tam bir poster çıkarmanın anlaşılmaz olduğu ve posterior ile ilgili ek varsayımların yapılması gereken beklenti yayılımı veya değişken Bayes'te kullanılır. Bu durumda, çıkarılan posterior yaklaşıktır. İnsanlar "posterioru yaklaşık olarak" veya "posterioru tahmin" diyebilir.

Bütün bunlar sadece benim düşüncem. Bu bir kural değil.

"Çıkarım" bölümünde genişleyerek başkalarının cevaplarını eklemek istiyorum. Makine öğrenmesi bağlamında, çıkarımın ilginç bir yanı belirsizliği tahmin etmektir. Bu, ML algoritmalarına genel olarak zordur: sınıflandırma etiketine bir sinir ağının veya karar ağacının tükettiği standart bir sapmayı nasıl koyarsınız? Geleneksel istatistiklerde, dağılım varsayımları matematik yapmamızı ve parametrelerdeki belirsizliği nasıl değerlendireceğimizi bulmamızı sağlar. ML'de parametre, dağıtım varsayımı veya hiçbiri olmayabilir.

Bu cephede bazı ilerlemeler kaydedilmiştir, bazıları çok yakın zamanda (mevcut cevaplardan daha yeni). Bir seçenek, diğerlerinin de belirttiği gibi, posteriorunuzun belirsizlik tahminleri verdiği Bayesian analizidir. Önyükleme türü yöntemleri güzel. Stanford'daki Stefan Wager ve Susan Athey, son birkaç yıldan itibaren rastgele ormanlar için çıkarım yapıyorlar . Anagogo olarak, BART , çıkarımın çizilebileceği bir posterior oluşturan Bayes ağacı topluluğu bir yöntemdir.