İstatistikler ve Büyük Veri

Bir anketten veri kurtarma konusunda biraz yardıma ihtiyacım var. Meslektaşlarımdan biri bir anket uyguladı, ancak yanlışlıkla 5 puanlık Likert ölçeğini kullanmak yerine (kesinlikle katılıyorum), ölçeğe 6. bir cevap ekledi. Ve konuyu daha da kötüleştirmek için 6. yanıt seçeneği… “Bilmiyorum”. Sorun şu ya da bu noktada “Bilmiyorum” u seçen katılımcıların büyük …

16 likert  data-imputation 

Egon Pearson'un yanı sıra, William Sealy Gosset'in 1904 tarihli "Hata Yasasının" Bira Fabrikasının Çalışmalarına Uygulanması "raporuna erişti mi? Guinness mülkiyeti sanırım, ama tarihsel önemi göz önüne alındığında, birisi onun ellerini nasıl alacağını bilseydi, çok ilginç bir okuma olurdu.

16 statistical-significance  history 

Sinir ağları için çok kritik olan 1969'dan kalma ünlü Minsky ve Papert kitabı "Perceptrons" un içeriğini anlamaya çalışıyorum. Bildiğim kadarıyla, henüz algılayıcı dışında başka genel denetimli öğrenme algoritmaları yoktu: karar ağaçları sadece 70'lerin sonunda, rastgele ormanlar ve SVM'ler 90'larda gerçekten kullanışlı olmaya başladı. Jackknife yöntemi zaten biliniyordu, ancak k-çapraz validasyonu …

16 classification  neural-networks  history 

Bu konunun daha önce burada tartışıldığını gördüm ama özel bir şey bulamadım. Sonra tekrar, ne arayacağından da emin değilim. Bir boyutlu sıralı veri setim var. Kümedeki tüm noktaların aynı dağılımdan çekildiğini varsayıyorum. Bu hipotezi nasıl test edebilirim? "Bu veri setindeki gözlemler iki farklı dağılımdan alınmıştır" genel bir alternatifine karşı test …

16 hypothesis-testing  distributions  mixture 

Şapka paketi birden makine öğrenme modellerini oluşturmak için parlak bir Ar kütüphane ve model oluşturma ve değerlendirme için çeşitli fonksiyonlara sahiptir. Parametre ayarlama ve model eğitimi için düzeltme paketi, yöntemlerden biri olarak 'tekrarlanancv' sunar. İyi bir uygulama olarak, parametre ayarlama aşağıdaki şekilde çalışan iç içe K-kat çapraz doğrulaması kullanılarak yapılabilir: …

16 cross-validation  caret 

Ben rastladım bu 2012 makalesinde soru çapraz doğrulama varyansını azaltmak için popüler bir teknik haline gelmiştir tekrarlanan çapraz doğrulama, yararını çağırarak Gitte Vanwinckelen ve Hendrik Blockeel tarafından. Yazarlar, tekrarlanan çapraz-validasyonun model tahminlerinin varyansını azaltmasına rağmen, aynı örnek veri kümesinin yeniden örneklendiği için, yeniden örneklenen çapraz-validasyon tahminlerinin ortalamasının gerçek öngörme doğruluğunun …

16 cross-validation 

Basit ve muhtemelen önemsiz bir sorum var: standart sapmaya neden sadece " standart " deniyor ? Veri kümeleri ve sonuçlarının dağılımlarına göre karşılaştırılmasını standartlaştırdığı için mi? Stack Exchange'de yapılan bir arama bu soruyu ortaya çıkarmaz ve Google terimi teriminin etimolojisinde çok fazla değer vermez.

16 standard-deviation  terminology  history  etymology 

LASSO regresyonunu açıklarken, genellikle bir elmas ve dairenin diyagramı kullanılır. LASSO'daki kısıtlamanın şekli bir elmas olduğu için, elde edilen en küçük kareler çözeltisinin, bazı değişkenlerin büzülmesine yol açacak şekilde elmasın köşesine dokunabileceği söylenir. Bununla birlikte, sırt regresyonunda, bir daire olduğu için, genellikle eksene dokunmaz. Neden eksene temas edemediğini veya bazı …

16 regression  lasso  ridge-regression 

Y ve X1, X2 arasındaki ilişkileri tanımlamak için çoklu doğrusal regresyon kullanıyorum. Teoriden, çoklu regresyonun Y ile X'in her biri (Y ve X1, Y ve X2) arasında doğrusal ilişkiler olduğunu varsaydım. X'in herhangi bir dönüşümünü kullanmıyorum. Böylece modeli R = 0.45 ve tüm anlamlı X ile aldım (P <0.05). Sonra …

16 regression  multiple-regression  python  linear 

ArXiv ile ilgili bu soruyu okuduktan ve daha önce bilmediğim GitXiv'e bir bağlantı bulduktan sonra , insanların kendi alanlarındaki en son araştırmaları güncellemek için hangi web sitelerini / kaynaklarını kullandığını merak ettim.

16 academia 

Başımı örnek seçimi ve endojenite arasındaki fark etrafında toplamaya çalışıyorum ve Heckman modellerinin (örnek seçimi ile başa çıkmak için) enstrümantal değişken regresyonlardan (endojenlik ile başa çıkmak için) nasıl farklı olduğunu düşünüyorum. Örnek seçiminin, endojen değişkenin tedavi edilme olasılığı olduğu belirli bir endojenite formu olduğunu söylemek doğru mudur? Ayrıca, hem Heckman …

16 instrumental-variables  endogeneity  2sls  heckman 

Standart Pearson Kalıntılarının geleneksel olasılıklarla elde edildiğini biliyorum: ri=yi−πiπi(1−πi)−−−−−−−−√ri=yi−πiπi(1−πi) r_i = \frac{y_i-\pi_i}{\sqrt{\pi_i(1-\pi_i)}} ve Sapma Kalıntıları daha istatistiksel bir yolla elde edilir (her noktanın olasılığa katkısı): di=si−2[yilogπi^+(1−yi)log(1−πi)]−−−−−−−−−−−−−−−−−−−−−−−−−−√di=si−2[yilog⁡πi^+(1−yi)log⁡(1−πi)] d_i = s_i \sqrt{-2[y_i \log \hat{\pi_i} + (1 - y_i)\log(1-\pi_i)]} burada ise 1 = 1 = ise = -1 = 0.sisis_iyiyiy_isisis_iyiyiy_i Bana, sezgisel olarak, …

16 regression  logistic  generalized-linear-model  residuals  deviance 

Aylık zaman serisi verilerim var ve aykırı değerlerin tespiti ile tahmin yapmak istiyorum. Bu benim veri setimin bir örneğidir: Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec 2006 7.55 7.63 7.62 7.50 7.47 7.53 7.55 7.47 7.65 7.72 7.78 7.81 2007 7.71 7.67 7.85 7.82 7.91 …

16 r  time-series  forecasting  arima  outliers 

Bu iddia, bu sorunun . 'Neden' sorusunun yeni bir iş parçacığı gerektirmesi bakımından yeterince farklı olduğunu düşünüyorum. Google'ın "kapsamlı ilişkilendirme ölçüsü" nü aramak isabet vermedi ve bu ifadenin ne anlama geldiğinden emin değilim.

16 correlation  normal-distribution  pearson-r  multivariate-normal 

Burada bir öğreticiyi takip ediyorum: PCA'yı daha iyi anlamak için http://www.r-bloggers.com/computing-and-visualizing-pca-in-r/ . Eğitici Iris veri kümesini kullanır ve PCA'dan önce bir günlük dönüşümü uygular: [1] ve seti tarafından önerildiği gibi Bildirimi aşağıdaki kodda biz sürekli değişkenler için bir günlük dönüşümü geçerli olduğunu centerve scalehiç eşit TRUEçağrısında prcompönce PCA uygulanmasından değişkenleri …

16 r  pca  data-transformation  logarithm