“Parametrik olmayan istatistiksel modellerin” gerçek hayat örnekleri nelerdir?

12

Burada istatistiksel modeller hakkındaki Wikipedia makalesini okuyorum ve özellikle "parametrik olmayan istatistiksel modeller" anlamına gelince biraz şaşkınım:

İstatistiksel bir modeldir parametrik olmayan parametre seti ise boyutlu sonsuzdur. İstatistiksel model hem sonlu boyutlu hem de sonsuz boyutlu parametrelere sahipse yarı parametriktir. Resmi olarak, boyutu ve örnek sayısı ise, hem yarı parametrik hem de parametrik olmayan modellerde olarak . Eğer olarak , model semiparametrik olduğu; aksi takdirde model parametrik değildir. $\Theta$ $d$ $\Theta$ $n$ $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

Ben eğer o olsun boyut , bir modelin sonlu (Tam anlamıyla ortalama üzere, parametrelerinin sayısı kabul ediyorum), o zaman bu bir parametrik modeldir.

Bana mantıklı gelmeyen, sonsuz sayıda parametreye sahip istatistiksel bir modele nasıl sahip olabileceğimizdir , öyle ki buna "parametrik olmayan" diyoruz. Dahası, durum böyle olsa bile, gerçekte sonsuz sayıda boyut varsa, neden "olmayan"? Son olarak, buna bir makine öğrenimi geçmişinden geldiğim için, bu "parametrik olmayan istatistiksel model" ile "parametrik olmayan makine öğrenme modelleri" arasında herhangi bir fark var mıdır? Son olarak, bu tür "parametrik olmayan sonsuz boyutlu modeller" in somut örnekleri neler olabilir?

nonparametric model

— Creatron
kaynak

3

Başka bir Wiki sayfası kullanma ( en.wikipedia.org/wiki/… ): 'Parametrik olmayan modeller, parametrik modellerden farklıdır, çünkü model yapısının a priori belirtilmesi yerine verilerden belirlenir. Parametrik olmayan terimi, bu tür modellerin tamamen parametreden yoksun olduğu anlamına gelmez, ancak parametrelerin sayısı ve doğasının esnek ve önceden sabit olmadığı anlamına gelir. ' bu nedenle parametrik olmayan, sonsuz sayıda parametreye değil, bilinmeyen sayıda parametreye sahiptir.

— Riff

Kuşkuluyum. Parametrik olmayan modellerde, modelin yapısını a priori olarak tanımlarız. Örneğin, Karar Ağaçlarında (parametrik olmayan bir modeldir) max_depth'i tanımlarız. O zaman bu parametrenin gerçekten verilerin kendisinden öğrenildiğini / belirlendiğini ve bizim tarafımızdan önceden belirlenmediğini nasıl söyleyebilirsiniz?

— Amarpreet Singh

5

Johnnyboycurtis'in cevabı olduğu için parametrik olmayan yöntemler, bir model oluşturmak için popülasyon dağılımı veya örneklem büyüklüğü hakkında herhangi bir varsayımda bulunmayan yöntemlerdir.

Bir k-NN modeli, bir model geliştirmek için herhangi bir varsayımı dikkate almadığından parametrik olmayan bir modele örnektir. Naif Bayes veya K-araçları, bir model oluşturmak için bir dağılım varsaydığı için parametrik bir örnektir.

Örneğin, K-araçları bir model geliştirmek için aşağıdakileri varsayar Tüm kümeler küreseldir (Gaussian'da). Tüm eksenler aynı dağılıma ve dolayısıyla varyansa sahiptir. Tüm kümeler eşit boyuttadır.

K-NN'ye gelince, tahmin için komple eğitim setini kullanır. Tahmin için test noktasından en yakın komşuları hesaplar. Bir model oluşturmak için herhangi bir dağıtım varsaymaz.

Daha fazla bilgi için:

— Prashanth
kaynak

Bunu genişletebilir misiniz lütfen? KNN neden parametrik olmayan bir örnektir ve neden K-ortalamaları olabilir? Bu benim peşim olduğum ayrıntılar, parametrik olmayan yöntemlerin esp örnekleri ve nüfus dağılımı hakkında neden / nasıl bir varsayımları yok. Teşekkürler!

— Creatron

@Creatron Daha fazla açıklama için cevabı değiştirdim.

— prashanth

3

Sanırım birkaç noktayı kaçırıyorsunuz. İlk olarak ve en önemlisi,

İstatistiksel bir yöntem, popülasyon dağılımı veya örneklem büyüklüğü üzerinde herhangi bir varsayımda bulunmazsa parametrik olmayan olarak adlandırılır.

Bazı parametrik olmayan modellerle ilgili basit (uygulamalı) bir öğretici: http://www.r-tutor.com/elementary-statistics/non-parametric-methods

Bir araştırmacı parametrik olmayan bir model ile parametrik bir model, örneğin parametrik olmayan bir regresyon ve lineer regresyon karşılaştırması kullanmaya karar verebilir, çünkü verilerin parametrik modelin sahip olduğu varsayımları ihlal etmesi. Bir ML geçmişinden geldiğiniz için, tipik doğrusal regresyon modeli varsayımlarını hiç öğrenmediğinizi varsayacağım. İşte bir referans: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

İhlalleri varsaymak, parametre tahminlerinizi çarpıtabilir ve sonuç olarak geçersiz sonuç riskini artırabilir. Parametrik olmayan bir model, aykırı değerlere, doğrusal olmayan ilişkilere karşı daha sağlamdır ve birçok nüfus dağılımı varsayımına bağlı değildir, bu nedenle çıkarımlar veya tahminler yapmaya çalışırken daha fazla güvene değer sonuç sağlayabilir.

Parametrik olmayan regresyon hakkında hızlı bir eğitim için şu slaytları öneriyorum: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

— Jon
kaynak

Bağlantılar için teşekkürler, onlardan geçeceğim. Ancak bir şey, bunu "parametrik olmayan" bir model oluşturan "sonsuz sayıda parametre" ile nasıl evlendirmemiz gerekiyor? Teşekkürler

— Creatron

Bu "sonsuz sayıda parametre" için herhangi bir alıntı yoktur, bu yüzden yorum yapamam. Parametrik olmayan istatistiksel model konusuna hiç böyle bir referans görmedim, bu yüzden bir cevap / yorum sağlayabilmek için bir referans görmem gerekir. Şimdilik, belirli bir alana karşı belirli modellere ilişkin varsayımlar konusunda endişeleniyorum.

— Jon

Sorumda alıntılanan wikipedia makalesi sonsuz boyutluluğa atıfta bulunmaktadır. Kelimenin tam anlamıyla: "Eğer parametre seti sonsuz boyutlu ise istatistiksel bir model parametrik değildir." Ne anlama geliyor? Bahsettiğim şey bu.

— Creatron

Biliyorum. Ancak Wikipedia bu ifadeye atıfta bulunmaz. Referans olmadan bir şeye güvenemiyorum.

— Jon

3

Şu anda şu parametrik olmayan modellerin tanımını kullandığımız Makine öğrenimi üzerine bir ders alıyorum: "Parametrik olmayan modeller, verilerin boyutuyla karmaşık bir şekilde büyüyor".

Parametrik model

Bunun ne anlama geldiğini görmek için bir parametrik model olan lineer regresyona bakalım: Burada : parametrelenmiş bir işlevi tahmin etmeye çalışıyoruz boyutu , sayıdan bağımsızdır gözlemler veya verilerinizin boyutu. $w \in ℝ ^d$

f (x) = w^{T} x

$f(x) = w^Tx$

Parametrik olmayan modeller

Bunun yerine çekirdek regresyonu aşağıdaki işlevi tahmin etmeye çalışır: burada veri noktamız var, ağırlıklar ve çekirdek işlevidir. İşte parametrelerin sayısı olan bağımlı veri noktalarının sayısına .

f (x) = \sum_{i = 1}^{n} α_{i} k (x_{i}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

Aynı durum çekirdek algılanan algılayıcı için de geçerlidir:

f (x) = s i g n (\sum_{i = 1}^{n} α_{i} y_{i} k (x_{i}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

geri dönelim ve d'nin sayısı olduğunu . Biz izin verirsek sonra . Vikipedi tanımının aynısı budur. $\alpha_i$ $n \to \infty$ $d \to \infty$

Ders slaytlarımdan çekirdek regresyon işlevini ve wikipedia'dan çekirdekleştirilmiş algılayıcı işlevini aldım: https://en.wikipedia.org/wiki/Kernel_method

— sop_se
kaynak