İstatistikler ve Büyük Veri

Grafik modellere giriş, onları "... grafik teorisi ve olasılık teorisi arasındaki bir evlilik" olarak tanımlar. Olasılık teorisi bölümünü elde ettim ama grafik teorisinin tam olarak nereye uyduğunu anlamakta güçlük çekiyorum. Grafik teorisinden elde ettiğimiz hangi bilgiler, olasılık dağılımları ve belirsizlik altında karar verme konusundaki anlayışımızı derinleştirmeye yardımcı oldu? PGM'lerde grafik …

29 graphical-model  graph-theory  distributions 

Bir yandan, ortalamaya doğru bir gerileme var, diğer yandan da kumarbazın yanıltmasına sahibim . Kumarbazın haksızlığı Miller ve Sanjurjo (2019) tarafından “rasgele dizilerin tersine çevrilmeye karşı sistematik bir eğilime sahip olduğu, yani benzer sonuçların çizgilerinin devam etmekten daha muhtemel olduğuna dair yanlış bir inanç” olarak tanımlanmaktadır. art arda defalarca sonraki …

29 regression  mean  fallacy  gambling 

Arka fon Regresyon modelimizde katsayılarının olduğu Sıradan En Küçük Kareler modelimiz olduğunu varsayalım , kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} burada bir olan katsayılarının vektörü, olan tasarım matrisi ile tanımlananββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots …

29 regression  linear-model  least-squares  t-distribution 

Önyargılı düğümler neden sinir ağlarında kullanılıyor? Kaç tane kullanmalısın? Bunları hangi katmanlarda kullanmalısınız: tüm gizli katmanlar ve çıktı katmanlar?

29 machine-learning  neural-networks  bias-node 

Bir tahminin güven aralığını resmen oluştururken, değerinin hesaplanma biçimine çok benzeyen bir formül ile sona erdi .ppp Böylece soru: resmen eşdeğer mi? Yani, bir hipotez reddeden bir kritik değer ile eşdeğer kritik değer ile güven aralığı ait olmayan ?α 0 αH0=0H0=0H_0 = 0αα\alpha000αα\alpha

29 hypothesis-testing  confidence-interval  p-value 

rasgele bir değişkenimiz olduğunu varsayalım . Eğer gerçek parametre ise, olabilirlik fonksiyonu maksimize edilmeli ve türev sıfıra eşit olmalıdır. Bu, maksimum olabilirlik tahmincisinin arkasındaki temel ilkedir.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Anladığım kadarıyla, Fisher bilgisi olarak tanımlanır I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] Dolayısıyla, eğer gerçek parametre ise, . Fakat eğer gerçek …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Son zamanlarda bootstrap okuduktan sonra, beni hala şaşırtan kavramsal bir soru buldum: Bir popülasyonunuz var ve popülasyonu temsil etmek için P kullandığım bir popülasyon niteliğini, yani bilmek istiyorsunuz . Bu θ örneğin nüfus ortalama olabilir. Genellikle popülasyondaki tüm verileri alamazsınız. Böylece N popülasyonundan N büyüklüğünde bir X örneği çizersiniz. Diyelim …

29 bootstrap  simulation  resampling 

Bir gama veya lognormal dağılıma çok benzeyen deneysel olarak gözlemlenmiş bir dağılımım var. Lognormal dağılımın , ortalamasının ve varyansının sabit olduğu rastgele bir için maksimum entropi olasılık dağılımı olduğunu okudum . Gama dağılımının benzer özellikleri var mı?XXXln( X)ln⁡(X)\ln(X)

29 pdf  gamma-distribution  lognormal 

Bir t-aralığını bir önyükleme aralığına göre karşılaştırdığım ve her ikisinin de kapsama olasılığını hesapladığım bir sınıf gösteri yapmak istedim. Verilerin çarpık bir dağılımdan gelmesini istedim, böylece verileri exp(rnorm(10, 0, 2)) + 1değiştirilmiş bir lognormal'den 10 büyüklüğünde bir örnek olarak oluşturmayı seçtim . 1000 örnek çizmek için bir senaryo yazdım ve …

29 bootstrap  diagnostic 

Bir lojistik regresyon modelinden bir takılan değer tahmin ettiğinizde standart hatalar nasıl hesaplanır? I anlamına monte değerleri (Fishers bilgi matrisi içerir) olup katsayıları için. Sadece sayıların nasıl alınacağını öğrendim R(örneğin, burada r- help'de veya burada Stack Overflow'ta), ancak formülü bulamıyorum. pred <- predict(y.glm, newdata= something, se.fit=TRUE) Çevrimiçi kaynak sağlayabilirseniz (tercihen …

29 r  regression  logistic  mathematical-statistics  references 

ROC'nin Eğri Altındaki Alanı (AUC) ve genel doğruluğu hakkında biraz kafa karıştırıcıyım. AUC, genel doğrulukla orantılı olacak mı? Başka bir deyişle, genel olarak daha büyük bir doğruluk elde ettiğimizde, kesinlikle daha büyük bir AUC olacaktır? Yoksa tanım olarak pozitif korelasyon gösteriyorlar mı? Olumlu bir korelasyon varsa, neden ikisini de bazı …

29 classification  roc 

Tek yönlü ( gruplu veya "seviye" ile) ANOVA'nın çiftli t-testi hiçbiri yapmadığında önemli bir fark bildirmesi mümkün müdür ?N>2N>2N>2N(N−1)/2N(N−1)/2N(N-1)/2 In Bu cevap @whuber yazdı: Küresel bir ANOVA F testinin, herhangi bir araç çiftinin bireysel olarak ayarlanmamış [tekil ayarlanmamış] t-testinin önemli bir sonuç vermeyeceği durumlarda bile, bir araç farkını tespit edebileceği …

29 statistical-significance  anova  t-test  post-hoc 

Bir SVM ve bir algılayıcı arasındaki fark ile biraz kafam karıştı. Anlayışımı burada özetlemeye çalışmama izin verin, lütfen yanlış olduğum yeri düzeltmek ve kaçırdıklarımı doldurmaktan çekinmeyin. Perceptron, "uzaklık" mesafesini optimize etmeye çalışmaz. İki takımı birbirinden ayıran bir hiper uçağı bulduğu sürece, iyidir. Öte yandan SVM, "destek vektörünü", yani en yakın …

29 machine-learning  svm  kernel-trick 

SPSS birkaç faktör çıkarma yöntemi sunar: Temel bileşenler (hiç bir faktör analizi olmayan) Ağırlıksız en küçük kareler Genelleştirilmiş en küçük kareler Maksimum Olabilirlik Ana Eksen Alfa faktoringi Görüntü faktoring İlk metodu gözardı ederek, faktör analizi değil (fakat temel bileşen analizi, PCA), bu yöntemlerden hangisi "en iyisi"? Farklı yöntemlerin göreceli avantajları …

29 spss  pca  factor-analysis 

Akaike Bilgi Kriteri (AIC) ve c istatistiği (ROC eğrisinin altındaki alan) lojistik regresyon için uygun iki ölçü modelidir. İki önlemin sonuçları tutarlı olmadığında neler olup bittiğini açıklamakta sorun yaşıyorum. Sanırım model uyumunun biraz farklı yönlerini ölçüyorlar, ancak bu belirli yönler nelerdir? 3 adet lojistik regresyon modelim var. M0 modelinin bazı …

29 logistic  roc  aic  auc