İstatistikler ve Büyük Veri

Gözlem sayısının ve değişken sayısının oranı ne olmalıdır? Sinir ağı modelinde aşırı sığdırmayı nasıl tespit edebilir ve aşırı sığmayı önlemenin yolları nelerdir? Sinir Ağı ile sınıflandırma yapmak istiyorsam, sınıfların eşit sıklıkta olması gerekir mi? Lütfen bana yardım et.

13 neural-networks 

İstatistik ders verirken, ara sıra kısa video eklemek de yararlı olabilir. İlk düşüncelerim şunları içeriyordu: İstatistiksel kavramların animasyonları ve görselleştirmeleri Belirli bir tekniğin uygulanmasına ilişkin hikayeler İstatistiksel bir fikirle ilgili mizahi videolar Bir istatistikçi veya istatistik kullanan bir araştırmacı ile röportajlar İstatistik öğretirken kullandığınız veya yararlı olacağını düşündüğünüz videolar var …

13 teaching  references 

Burada yaşadığımız son soruların ardından . Kimse rastlamak ya da doğrusal bir model için simülasyon dayalı özel bir güç analizi gerçekleştirmek için R kodunu paylaşmak bilmek umuyordum ? Daha sonra bunu daha karmaşık modellere genişletmek istiyorum, ama lm başlamak için doğru yer gibi görünüyor. Teşekkürler.

13 r  power  power-analysis 

Aşağıdaki sorunla mücadele ediyorum, umarım istatistikçiler için kolay bir sorundur (istatistiklere biraz maruz kalan bir programcıyım). Bir ankete verilen yanıtları özetlemem gerekiyor (yönetim için). Anketin farklı alanlarda gruplandırılmış 100'den fazla sorusu vardır (alan başına yaklaşık 5 ila 10 soru). Tüm cevaplar kategoriktir (sıralı bir ölçekte, "hiç değil", "nadiren" ... "günlük …

13 categorical-data  data-transformation  descriptive-statistics 

Aynı çarpıklığa sahip popülasyonlardan geldikleri sıfır hipotezi için iki bağımsız örneği test etmek için hangi testler mevcuttur? Eğriltmenin sabit bir sayıya eşit olup olmadığı konusunda klasik bir 1-örnek testi vardır (test 6. örnek momentini içerir!); örneklemli bir test için basit bir çeviri var mı? Verilerin çok yüksek anlarını içermeyen teknikler …

13 hypothesis-testing  distributions  bootstrap  moments  l-moments 

Bazı ölçümler için bir analizin sonuçları dönüştürülmüş ölçekte uygun şekilde sunulur. Bununla birlikte, çoğu durumda, sonuçları orijinal ölçüm ölçeğinde sunmak arzu edilir (aksi takdirde çalışmanız az çok değersizdir). Örneğin, log dönüştürülmüş veri durumunda, kaydedilen değerlerin ortalaması ortalamanın günlüğü olmadığı için orijinal ölçekte yorumlama ile ilgili bir sorun ortaya çıkar. Günlük …

13 data-transformation  confidence-interval  t-test  interpretation 

Olasılık dağılımları alanında Fisher's Information metriğini doğal bir yerel metrik olarak kullanmayı ve daha sonra mesafeleri ve hacimleri tanımlamak için entegre etmeyi savunan geniş bir literatüre rastladım . Peki bu "entegre" miktarlar aslında herhangi bir şey için yararlı mıdır? Hiçbir teorik gerekçe ve çok az pratik uygulama bulamadım. Bir adam …

13 model-selection  information-geometry 

Farklı görselleştirme tekniklerinin etkinliğini (anlaşılabilirlik) araştıran araştırmalar bilen var mı? Örneğin, insanlar bir görselleştirme biçimini diğerine göre ne kadar çabuk anlıyor? Görselleştirme ile etkileşim insanların verileri hatırlamasına yardımcı olur mu? Bu çizgiler boyunca her şey. Görselleştirmelere örnek olarak şunlar verilebilir: dağılım grafikleri, grafikler, zaman çizelgeleri, haritalar, etkileşimli arabirimler (Paralel Koordinatlar …

13 data-visualization  communication 

Dairesel istatistiklerinde, rastgele değişken beklenen değeri daire üzerindeki değerlerle S olarak tanımlanır m, 1 ( Z ) = ∫ S z P , Z ( θ ) d θ (bakınız Ara ). Bu çok doğal bir tanım, tıpkı V a r ( Z ) = 1 - | m 1 …

13 mathematical-statistics  moments  intuition  circular-statistics 

Tekil Değer Ayrışmasını boyutsallık azaltma tekniği olarak kullanıyorum. NBoyut vektörleri göz önüne alındığında D, fikir, ilişkisiz boyutların dönüştürülmüş bir uzayındaki özellikleri temsil etmek, bu da bu alanın özvektörlerindeki verilerin bilgilerinin çoğunu azalan bir önem sırasına yoğunlaştırmaktır. Şimdi bu prosedürü zaman serisi verilerine uygulamaya çalışıyorum. Sorun şu ki, tüm diziler aynı …

13 time-series  machine-learning  pca  data-transformation  multivariate-analysis 

LME modellerinin, doğruluk verilerinin analizinde (yani, psikoloji deneylerinde) daha geleneksel olduğunu, geleneksel yaklaşımların (örneğin ANOVA) yapamayacağı binom ve normal olmayan dağılımlarla çalışabildiklerini duydum. LME modellerinin bu diğer dağıtımları dahil etmelerine izin veren matematiksel temeli nedir ve bunu açıklayan teknik olmayan bazı makaleler nelerdir?

13 mixed-model 

Kilitli . Bu soru ve cevapları kilitlidir çünkü soru konu dışıdır, ancak tarihsel önemi vardır. Şu anda yeni yanıtları veya etkileşimleri kabul etmiyor. İyi veri anonimleştirme yazılımının farkında olan var mı? Ya da belki de R için veri anonimleştirme yapan bir paket? Açıkçası, kırılmaz anonimleştirme beklememek - sadece zorlaştırmak istiyorum.

13 software 

İki grup veri tek bir veri kümesinden ayırmaya çalışıyorum. Popülasyonlardan birinin normal olarak dağıldığını ve numunenin en az yarısı kadar olduğunu varsayabilirim. İkincisinin değerleri, birincinin değerlerinden daha düşük veya daha yüksektir (dağılım bilinmemektedir). Ne yapmaya çalışıyorum normal dağıtılmış nüfusu diğerine kapsayacak üst ve alt sınırları bulmaktır. Benim varsayım bana başlangıç …

13 dataset  outliers  expectation-maximization 

Bu biraz aptalca bir soru, ama cevaba ciddi bir ilgim var. Bir psikiyatri hastanesinde çalışıyorum ve her koğuşta her gün o koğuştaki şiddet düzeyi hakkında toplanan üç yıllık verilerim var. Açıkçası bu verilere uyan model bir zaman serisi modelidir. Daha normal hale getirmek için puanları değiştirmek zorunda kaldım. Farklı verilerle …

13 time-series  forecasting 

Bu oldukça genel bir soru: Tipik olarak, birden fazla farklı model kullanmanın bir örnek seriden zaman serisini tahmin etmeye çalışırken bir modelden daha iyi performans gösterdiğini gördüm. Model kombinasyonunun tek bir modelden daha iyi performans göstereceğini gösteren iyi makaleler var mı? Birden fazla modeli birleştirme konusunda en iyi uygulamalar var …

13 time-series  modeling  model-comparison