İstatistikler ve Büyük Veri

Uzun zaman önce iki örneklem T-testi kullanmak için normal dağılımın gerekli olduğunu öğrendim. Bugün bir meslektaşım N> 50 için normal dağılımın gerekli olmadığını öğrendiğini söyledi. Bu doğru mu? Eğer doğruysa, merkezi limit teoremi yüzünden mi?

77 normal-distribution  t-test  central-limit-theorem 

Zamanda geriye gidip, kariyerinizin başlangıcında istatistikçi olarak belirli bir kitabı okumanızı söylerseniz, hangi kitap olurdu?

77 references 

Veri analizi geçmişi olmayan birine çapraz onaylamayı nasıl tarif edersiniz ?

77 cross-validation 

İnsanların benim am böylece çiftleri kapatmak için sevdiğini bilmek değil bir referans soran başlatmak (aynı öğrenme istatistiklerini burada ). Matematik alanında doktora yaptım ama istatistik öğrenmedim. Eşdeğer bilgiye giden en kısa yol hangisidir? BS istatistik derecesinin en iyisi ve bunu nasıl elde ettiğimi nasıl ölçebilirim. Eğer bir kitap listesi yeterliyse …

77 references  careers 

Matematiğin, ünlü Millennium Problemleri (ve tarihsel olarak Hilbert'in 23 ), alanın yönünü şekillendirmeye yardımcı olan soruları vardır. Bununla birlikte, Riemann Hipotezleri ve P ile NP'nin istatistiklerinin ne olacağı hakkında çok az fikrim var. Öyleyse, istatistiklerdeki genel açık sorular nelerdir? Eklemek için düzenlendi: Aradığım cevabın genel ruhunun (tam olarak belli değilse) …

77 history 

Son zamanlarda bu sitede (@Aniko, @Dikran Marsupial, @Erik) ve başka yerlerde çapraz onaylama ile ortaya çıkan aşırı teçhizat sorunu hakkında çok fazla şey okudum - (Smialowski ve diğerleri 2010 Bioinformatics, Hastie, istatistiksel öğrenmenin unsurları). Öneri, çapraz doğrulama (veya önyükleme gibi başka bir model tahmin metodu) kullanılarak yapılan model performans tahmininin …

76 cross-validation  feature-selection 

"Temel olarak, tüm modeller yanlış, ancak bazıları kullanışlıdır." --- Box, George EP; Norman R. Draper (1987). Ampirik Model Oluşturma ve Yanıt Yüzeyleri, s. 424, Wiley. ISBN 0471810339. Yukarıdaki cümlenin anlamı tam olarak nedir?

76 modeling 

Yaklaşık 30 bağımsız değişken içeren bir veri kümesine sahibim ve bunlar ile bağımlı değişken arasındaki ilişkiyi araştırmak için genelleştirilmiş bir doğrusal model (GLM) oluşturmak istiyorum. Bu durum için öğretildiğim yöntemin, adım adım gerilemenin artık istatistiksel bir günah olarak kabul edildiğinin farkındayım . Bu durumda hangi modern model seçim yöntemleri kullanılmalıdır?

76 regression  generalized-linear-model  model-selection  stepwise-regression 

Bir Destek Vektörü Makinelerinin amacının, bir girişin birkaç farklı sınıfa sınıflandırılması açısından ne anlama geldiğinin temellerini anlıyorum; Yeni başlayanlar için biraz Slack Değişkenleri ile kafam karıştı. Amaçları nedir? Bir ayakkabının iç tabanına yerleştirdiğim sensörlerden basınç ölçümleri aldığım bir sınıflandırma problemi yapıyorum. Basınç verileri kaydedilirken bir konu birkaç dakika oturacak, duracak …

76 machine-learning  classification  svm 

Özellik seçimi ve makine öğrenmesi konusunda kafam biraz karıştı ve bana yardım edip edemeyeceğinizi merak ediyordum. İki gruba ayrılan ve 1000’lik özelliklere sahip bir mikro dizi veri setine sahibim. Amacım, teorik olarak bu örnekleri en iyi şekilde sınıflandırmak için diğer veri setlerine uygulayabileceğim bir imzayla az sayıda gen (özelliklerim) (10-20) …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

İstatistiksel Öğrenme Öğelerini okudum ve Lasso'nun neden değişken seçim sağladığını ve sırt regresyonunun neden olmadığını bilmek istiyorum. Her iki yöntem de artık kareler toplamını en aza indirir ve parametrelerinin olası değerleri üzerinde bir kısıtlamaya sahiptir . Kement için sınırlama iken, sırt için bazı için .| | β | | 1 …

76 regression  feature-selection  lasso  regularization 

Yana Lojistik Regresyon istatistiksel edilir sınıflandırma modeli kategorik bağımlı değişkenler ile uğraşan, neden çağrılmaz Lojistik Sınıflandırması ? Sürekli bağımlı değişkenlerle uğraşan modellere "Regresyon" adı verilmeli midir?

75 regression  machine-learning  logistic  classification  terminology 

Rastgele orman algoritmasını, iki grubun sağlam bir sınıflandırıcısı olarak, 1000'li özelliklere sahip bir mikro dizi çalışmasında kullanıyorum. Rastgele ormanı sunmanın en iyi yolu nedir, böylece bir makalede tekrarlanabilir kılmak için yeterli bilgi olacak? Az sayıda özellik varsa, aslında ağacı çizmek için R'de bir çizim yöntemi var mı? OOB hata oranı …

75 r  machine-learning  classification  random-forest  microarray 

Birkaç yıl önce olaylar arasındaki süreyi ölçmek yerine saymak yerine çalışan bir radyasyon dedektörü tasarladım. Benim tahminime göre, bitişik olmayan örnekleri ölçerken, ortalama olarak gerçek aralığın yarısını ölçeceğim. Ancak devreyi kalibre edilmiş bir kaynakla test ettiğimde okuma, iki aralığın çok yüksek olduğu ve tüm aralığı ölçtüğüm anlamına geliyordu. Olasılık ve …

75 poisson-process  paradox 

Doğrusal regresyon için, doğrusal regresyon varsayımlarının ihlal edilip edilmediğini kontrol etmek için teşhis grafiklerini (artıklar grafikleri, Normal QQ grafikleri, vb.) Kontrol edebiliriz. Lojistik regresyon için, lojistik regresyon modelinin uygunluğunun nasıl teşhis edileceğini açıklayan kaynakları bulmakta güçlük çekiyorum. GLM için bazı ders notları kazmak, sadece kalıntıları kontrol etmenin lojistik bir regresyon …

74 regression  logistic