İstatistikler ve Büyük Veri

Yakın tarihli bir oylamadan sonra Pearson Chi Squared testi hakkındaki anlayışımı kontrol etmeye çalışıyorum. Genellikle chi kare istatistiği (veya chi kare istatistiğinin azaltılması) sonuçta ortaya çıkan uyumu takmak veya kontrol etmek için kullanırım. Bu durumda, varyans genellikle bir tablo veya histogramda beklenen sayım değil, deneysel olarak belirlenmiş bir varyanstır. Her …

18 chi-squared  histogram 

Bir elektrik kesintisi yaşıyorum. Doğrusal regresyon bağlamında önyargı-varyans dengesini sergilemek için aşağıdaki tabloyu sundum: İki modelden hiçbirinin iyi bir uyum olmadığını görebiliyorum - "basit", XY ilişkisinin karmaşıklığını takdir etmiyor ve "karmaşık", temel olarak eğitim verilerini ezbere öğreniyor. Ancak bu iki resimdeki sapma ve sapmayı tamamen göremiyorum. Birisi bunu bana gösterebilir …

18 regression  variance  bias 

Metin sınıflandırması için bir deney sırasında, SVM, NB, kNN, vb. parametrelerle ilgili bazı basit ayarlamalar dışında, bu belirli metin sınıflandırma görevindeki her bir sınıflandırıcıyı optimize etme konusunda. Bu sonuç Dikran Marsupial'dan da bahsedildi . İstatistik arka planından gelmiyorum, çevrimiçi bazı materyalleri okuduktan sonra, bunun ana nedenlerini hala anlayamıyorum. Herkes böyle …

18 machine-learning  classification  text-mining  ridge-regression 

Aşağıdaki koşullarla 0'dan başlayarak tamsayı rastgele bir yürüyüş düşünün: İlk adım eşit olasılıkla artı veya eksi 1'dir. Gelecekteki her adım:% 60'ın bir önceki adımla aynı yönde olması,% 40'ının ters yönde olması muhtemeldir Bu ne tür bir dağıtım sağlıyor? Momentum olmayan rastgele bir yürüyüşün normal dağılım sağladığını biliyorum. Momentum sadece varyansı …

18 stochastic-processes  randomness  random-walk 

Güven aralıkları hakkında iki sorum var: Görünüşe göre dar bir güven aralığı, bu aralıkta gözlem elde etme şansının daha az olduğu anlamına gelir, bu nedenle doğruluğumuz daha yüksektir. Ayrıca% 95 güven aralığı, daha geniş olan% 99 güven aralığından daha dardır. % 99 güven aralığı% 95'ten daha doğrudur. Birisi doğruluk ve …

18 confidence-interval 

Bir skellam dağılımı Poisson dağılımına sahip iki değişken arasındaki farkı açıklar. Negatif binom dağılımlarını takip eden değişkenler arasındaki farkı tanımlayan benzer bir dağılım var mı? Verilerim bir Poisson süreci tarafından üretiliyor, ancak dağıtımda aşırı dağılmaya yol açan adil miktarda gürültü içeriyor. Bu nedenle, verilerin negatif binom (NB) dağılımı ile modellenmesi …

18 distributions  modeling  poisson-distribution  negative-binomial  skellam 

In χ2χ2\chi^2 testi normal dağılımların her birinin standart sapma (sapmalar olarak yani beklendiği sayımları) olarak beklenen sayımları karekökünü kullanarak temeli nedir? Bunu tartışırken bulabildiğim tek şey http://www.physics.csbsju.edu/stats/chi-square.html ve sadece Poisson dağılımlarından bahsediyor. Karışıklığımın basit bir örneği olarak, iki sürecin önemli ölçüde farklı olup olmadığını test ediyor olsaydık, biri çok küçük …

18 hypothesis-testing  chi-squared 

Birisinin benim için karışıklık yaratmasına yardımcı olabileceğini umuyorum. Diyelim ki 2 set regresyon katsayısının aşağıdaki kurulumla birbirinden önemli ölçüde farklı olup olmadığını test etmek istiyorum: yi=α+βxi+ϵiyi=α+βxi+ϵiy_i = \alpha + \beta x_i + \epsilon_i5 bağımsız değişkenli . 2 grup, kabaca eşit boyutlarda (bu değişebilir)n1,n2n1,n2n_1, n_2 Binlerce benzer regresyon eşzamanlı olarak yapılacak, …

18 regression  hypothesis-testing  multiple-regression 

Diyelim ki iki küme ve Y ve bu kümeler üzerinde ortak olasılık dağılımı p (x, y) . P (x) ve p (y) 'nin sırasıyla X ve Y üzerindeki marjinal dağılımları göstermesine izin verin .X XXY YYp ( x , y ) p(x,y)p(x,y)p ( x ) p(x)p(x)p ( y ) p(y)p(y)X …

18 entropy  mutual-information  information-theory 

5 değişken var ve 0 ila 70 aralığında olması gereken hedef değişkenimi tahmin etmeye çalışıyorum. Bu bilgiyi hedefimi daha iyi modellemek için nasıl kullanabilirim?

18 regression  bounds 

Arka fon Bilinmeyen bir dağılımı olan bir değişkenim var. 500 örneğim var, ancak varyansın hesaplanabileceği kesinliği göstermek istiyorum, örneğin 500 örneklem boyutunun yeterli olduğunu iddia etmek. Ayrıca % hassasiyetle varyansı tahmin etmek için gerekli minimum örnek boyutunu bilmekle de ilgileniyorum X%X%X\%. Sorular Nasıl hesaplayabilirim örnek büyüklüğü verilen varyans tahminimin kesinliği …

18 estimation  random-variable  variance  sampling  sample-size 

Bradley Efron ve Carl Morris'in "Stein'ın İstatistiklerdeki Paradoksu" adlı 1977 Scientific American gazetesinde James-Stein Büzülme faktörünü hesaplamakla ilgili bir sorum var . Beyzbol oyuncuları için veri topladım ve aşağıda verilmiştir: Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, 0.298 Howard, 0.356, 0.276 Johnstone, 0.333, 0.222 Berry, 0.311, 0.273 Spencer, 0.311, …

18 estimation  shrinkage  steins-phenomenon 

Bu grafik türünün bir adı var mı? Daha da önemlisi, onu üretmek için kullanabileceğim bir görselleştirme kütüphanesi var mı? http://www.nytimes.com/interactive/2007/12/15/us/politics/DEBATE.html

18 data-visualization 

Şu anda bir görüntü bölümleme sorunu için Viterbi eğitimini kullanıyorum . Viterbi eğitimi yerine Baum-Welch algoritmasını kullanmanın avantajlarının / dezavantajlarının ne olduğunu bilmek istedim.

18 machine-learning  hidden-markov-model  image-processing  viterbi-algorithm  baum-welch 

Tahmin için asla Doğrusal Regresyon dışında modeller kullanmayan bazı istatistikçilerle karşılaştım çünkü rastgele orman veya gradyan artırma gibi "ML modellerinin" açıklanmasının zor olmadığını ya da "yorumlanamaz" olduğuna inanıyorlar. Doğrusal Regresyonda, varsayımlar kümesinin doğrulandığı göz önüne alındığında (hataların normallik, homoskedastisite, çoklu eşzamanlılık yok), t-testleri değişkenlerin önemini test etmenin bir yolunu sağlar, …

18 regression  machine-learning  multiple-regression  model-interpretation