İstatistikler ve Büyük Veri

Çapraz doğrulama işlemiyle ilgili bir sorum var. Cursera'da Makine Öğrenimi kursunun ortasındayım. Konulardan biri Çapraz doğrulama ile ilgili. Takip etmesi biraz zor buldum. Neden CV'ye ihtiyacımız olduğunu biliyorum, çünkü modellerimizin gelecekteki (bilinmeyen) veriler üzerinde iyi çalışmasını istiyoruz ve CV aşırı yüklemeyi engelliyor. Ancak, sürecin kendisi kafa karıştırıcıdır. Anladığım kadarıyla verileri …

28 machine-learning  cross-validation 

Epidemiyolojiye girdim. Bir istatistikçi değilim, ancak sık sık karşılaşmama rağmen analizleri kendim yapmaya çalışıyorum. İlk analizimi yaklaşık 2 yıl önce yaptım. Tanımlayıcı tablolardan regresyon analizlerine kadar analizlerime her yerde (sadece diğer araştırmacıların yaptığı şeyi yaptım) P değerleri dahil edildi. Azar azar, dairemde çalışan istatistikçiler beni gerçekten bir hipotezim olduğu durumlar …

28 probability  hypothesis-testing  statistical-significance  p-value 

Üç rastgele değişken vardır, x,y,zx,y,zx,y,z . Üç değişken arasındaki üç korelasyon aynıdır. Yani, ρ=cor(x,y)=cor(x,z)=cor(y,z)ρ=cor(x,y)=cor(x,z)=cor(y,z)\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z) için verebileceğiniz en sıkı sınır nedir ?ρρ\rho

28 correlation  correlation-matrix 

Bu CV dizisinden esinlenerek çoklu regresyon ve etkileşimle ilgili bir sorum var: Merkezlenmiş değişkenler kullanarak etkileşim terimi hiyerarşik regresyon analizi? Hangi değişkenleri merkezlemeliyiz? Denetleme efekti denetlerken, bağımsız değişkenlerimi merkezlerim ve etkileşim terimimi hesaplamak için merkezlenmiş değişkenleri çarparım. Sonra regresyon analizimi yapıyorum ve ılımlılığı gösterebilecek ana ve etkileşim etkilerini kontrol ediyorum. …

28 regression  interaction  centering 

Standart ve küresel k-ortalama kümeleme algoritmaları arasındaki temel uygulama farkının ne olduğunu anlamak isterim. Her adımda, k-aracı eleman vektörleri ve küme centroidleri arasındaki mesafeleri hesaplar ve ortağı en yakın olan bu kümeye belgeyi yeniden atar. Daha sonra, tüm centroidler yeniden hesaplanır. Küresel k araçlarında, tüm vektörler normalize edilir ve mesafe …

28 clustering  data-mining  algorithms  k-means 

9 sürekli bağımsız değişken içeren bir veri kümem var. Bir modele tek bir yüzde (bağımlı) değişkene uyacak şekilde bu değişkenler arasından seçim yapmaya çalışıyorum Score. Ne yazık ki, bazı değişkenler arasında ciddi bir eşliklilik olacağını biliyorum. stepAIC()Değişken seçimi için R'deki işlevi kullanmayı denedim , ancak bu yöntem garip bir şekilde …

28 r  multiple-regression  feature-selection  multicollinearity 

Bir araştırmacı birkaç veri setinin birleşik bir analizini yapmak istiyor. Bazı veri setlerinde A ve B tedavisi için eşleştirilmiş gözlemler vardır. Diğerlerinde ise eşleştirilmemiş A ve / veya B verileri vardır. Bu tür kısmen eşleştirilmiş veriler için t-testinin uyarlanması veya olasılık oranı testi için referans arıyorum. (Şimdilik) eşit varyansa sahip …

28 hypothesis-testing  t-test  paired-data  change-scores 

Bazı yorumcularla hipotez testinin kullanılmaması gerektiğini öne süren hipotez testiyle ilgili tartışmaları okudum . Bazı yorumcular bunun yerine güven aralıklarının kullanılması gerektiğini önermektedir . Güven aralıkları ile hipotez testleri arasındaki fark nedir? Referans ve örnekler ile açıklama takdir edilecektir.

28 hypothesis-testing  confidence-interval 

OLS modeli altında, RSS (artık kareler toplamı) değerinin χ 2 ⋅ ( n - p )χ2⋅(n−p)\chi^2\cdot (n-p) ( p ) neden dağıldığını anlamak istiyorum.pp modelinde parametrelerinin sayısı, varlık nnn gözlem sayısı). Bu kadar temel bir soruyu sorduğum için özür dilerim, ancak cevabı çevrimiçi olarak bulamıyorum (ya da benim uygulama alanım …

28 regression  distributions  least-squares 

Bayesci istatistiklerinde, genellikle posterior dağılımın içe çekilemez olduğu ve bu nedenle yaklaşık çıkarımın uygulanması gerektiği belirtilir. Bu kararsızlığa neden olan faktörler nelerdir?

28 bayesian  approximation  inference 

Bir (i, j) sayfasının kaç kez bireysel olduğumu söylediğini söyleyen bir matrisim var. 27 bin birey ve 95 bin sayfa var. Sık sık birlikte görüntülenen sayfa kümelerine karşılık gelen sayfalar alanında bir avuç "boyutlar" veya "boyutlar" istiyorum. Nihai hedefim, daha sonra bireysel olarak, boyut 1, boyut 2 vb. Sayfalara giren …

28 r  clustering  dimensionality-reduction 

GP'leri okumaya yeni başladım ve normal Gauss dağılımına benzer bir şekilde ortalama bir fonksiyon ve kovaryans fonksiyonu veya çekirdeği ile karakterize edildim. Bir konuşuyordum ve konuşmacı ortalama fonksiyonun genellikle oldukça ilginç olduğunu ve tüm çıkarım çabalarının doğru kovaryans fonksiyonunu tahmin etmeye harcandığını söyledi. Birisi bana neden böyle olması gerektiğini açıklayabilir …

28 gaussian-process 

Bir matematik fakültesinden bir istatistik dersini ziyaret etme fırsatım olmadı. Tam ve kendi kendine yeterli bir olasılık teorisi ve istatistik kitabı arıyorum. Tamamen demek istediğim, tüm sonuçları içermekte ve sadece sonuçları belirtmemekte. Kendi kendine yeterlilikle demek istiyorum ki, kitabı anlayabilmek için başka bir kitap okumam gerekmiyor. Tabii ki üniversite düzeyinde …

28 probability  self-study  mathematical-statistics  references 

Sonlu ortalama ve sonsuz değişkenlik içeren bir dağılım moment oluşturma işlevine sahip olabilir mi? Sonlu ortalama ve sonlu varyanslı, ancak sonsuz yüksek anlara sahip bir dağılıma ne dersiniz?

28 variance  moments  mgf 

Öğrencinin testi, örnek standart sapmayı gerektirir . Ancak, yalnızca örneklem büyüklüğü ve örnek ortalaması bilindiğinde, için nasıl hesaplama yapabilirim ?tttssssss Örneğin, örneklem büyüklüğü ve örnek ortalaması , o zaman her biri değerinde özdeş örneklem listesi oluşturmaya çalışacağım . Beklenen şekilde, örnek standart sapma . Bu, testinde sıfıra bölünme problemi yaratacaktır …

28 t-test  standard-deviation  small-sample