İstatistikler ve Büyük Veri

Çok değişkenli analizler hakkında bazı kitaplar edinmekle ilgileniyorum ve önerilerinize ihtiyacım var. Ücretsiz kitaplar her zaman açıktır, ancak bazı harika ücretsiz olmayan MVA kitaplarını biliyorsanız, lütfen belirtiniz.

26 references  multivariate-analysis 

Ben R için yeni, lojistik regresyon emretti ve polr. Polr için yardım sayfasının altındaki "Örnekler" bölümünde (sipariş edilen bir faktör yanıtına lojistik veya probit regresyon modeline uyan) gösteriliyor options(contrasts = c("contr.treatment", "contr.poly")) house.plr <- polr(Sat ~ Infl + Type + Cont, weights = Freq, data = housing) pr <- profile(house.plr) …

26 r  logistic 

R'de LOESS regresyon modelleri kullanıyorum ve 12 farklı modelin çıktılarını değişen örneklem boyutlarıyla karşılaştırmak istiyorum. Soruyu cevaplamaya yardımcı olursa gerçek modelleri daha ayrıntılı olarak anlatabilirim. Örnek büyüklükler: Fastballs vs RHH 2008-09: 2002 Fastballs vs LHH 2008-09: 2209 Fastballs vs RHH 2010: 527 Fastballs vs LHH 2010: 449 Changeups vs RHH …

26 r  regression  loess 

Gung'un harika cevabından alıntı İddiaya göre, bir araştırmacı bir keresinde Fisher'a “önemli olmayan” sonuçlarla yaklaşmış, ne yapması gerektiğini sormuş ve Fisher “git daha fazla veri al” dedi. Bir Neyman- Pearson açısından bakıldığında, bu bariz olan -hacking ancak Fisher'in go-get-daha-veri yaklaşımı mantıklı bir kullanım örneği var mıdır?ppp

26 hypothesis-testing  p-value  intuition  philosophical 

Eğitim kaybım azaldı ve sonra tekrar yükseldi. Bu çok garip. Çapraz doğrulama kaybı, eğitim kaybını izler. Ne oluyor? Aşağıdaki gibi iki yığılmış LSTMS var (Keras'larda): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') 100 dönem için eğitiyorum: model.fit(X_train, np.array(y_train), batch_size=1024, nb_epoch=100, validation_split=0.2) 127803 …

26 machine-learning  neural-networks  loss-functions  lstm 

İkili sınıflandırma yapmak istediğimi varsayalım (bir şey A veya B sınıfına aittir). Bunu bir sinir ağının çıkış katmanında yapmanın bazı olasılıkları vardır: 1 çıkış düğümü kullanın. Çıkış 0 (<0,5) A sınıfı kabul edilir ve 1 (> = 0,5) B sınıfı (sigmoid olması durumunda) kabul edilir. 2 çıkış düğümü kullanın. Giriş, …

26 machine-learning  classification  neural-networks 

"Koşullu olasılık" ve "Olabilirlik" ile ilgili basit bir sorum var. (Bu soruyu burada zaten araştırdım ancak boşuna yok.) Olasılıkla ilgili Wikipedia sayfasından başlar . Bunu söylüyorlar: Olabilirlik parametre değerlerinin bir dizi, , sonuçlar verilen , olduğu bileşiklerdir parametre değerleri verilenlerden gözlenen sonuçların olasılık, eşittirθθ\thetaxxx L(θ∣x)=P(x∣θ)L(θ∣x)=P(x∣θ)\mathcal{L}(\theta \mid x) = P(x \mid …

26 probability  bayesian  conditional-probability  likelihood  definition 

Bayesian çıkarımı yaparken, olasılık fonksiyonumuzu, parametreler hakkında sahip olduğumuz öncelikler ile birlikte maksimize ederek çalışırız. Log olasılık daha uygun olduğu için, etkili bir şekilde en üst düzeye çıkarmak bir pdf kullanılarak arka dağılımları ürettiği başka bir şekilde MCMC ya da (kullanarak her parametrenin önceliği ve her veri noktasının olasılığı).∑ln(prior)+∑ln(likelihood)∑ln⁡(prior)+∑ln⁡(likelihood)\sum \ln …

26 bayesian  prior 

P-değerini R'de pearson korelasyonunda bulmak mümkün müdür? Pearson korelasyonunu bulmak için, genellikle bunu yaparım. col1 = c(1,2,3,4) col2 = c(1,4,3,5) cor(col1,col2) # [1] 0.8315218 Fakat bunun p değerini nasıl bulabilirim?

26 r  correlation  p-value  pearson-r 

Doğrusal regresyonda, tahmin edilen her değerin, olası değerlerin normal bir dağılımından seçildiği varsayılmaktadır. Aşağıya bakınız. Fakat neden her tahmin edilen değerin normal bir dağılımdan geldiği varsayılmaktadır? Doğrusal regresyon bu varsayımı nasıl kullanır? Mümkün olan değerler normal dağılmazsa ne olur?

26 regression  probability  distributions  normal-distribution  modeling 

Anladığım kadarıyla, sadece eğitim verilerinin aralığında kalan bir regresyon işlevi oluşturabiliriz. Örneğin (panellerden sadece biri gerekli): Bir KNN regresör kullanarak geleceği nasıl tahmin edebilirim? Yine, sadece antrenman verileri aralığı dahilinde olan bir fonksiyona yaklaştığı görülmektedir. Sorum şu: KNN regresör kullanmanın avantajları nelerdir? Bunun sınıflandırma için çok güçlü bir araç olduğunu …

26 regression  machine-learning  k-nearest-neighbour 

Standart sapma hakkında daha sezgisel bir anlayış kazanmaya çalışıyorum. Anladığım kadarıyla, bir veri kümesindeki bir gözlem kümesinin, o veri kümesinin ortalamasından bir farkının ortalamasını temsil ediyor. Bununla birlikte, ortalamalar dışında gözlemlere daha fazla ağırlık verdiğinden, aslında farklılıkların ortalamalarına eşit DEĞİLDİR. Diyelim ki aşağıdaki değerler topluluğuna sahibim -{1,3,5,7,9}{1,3,5,7,9}\{1, 3, 5, 7, …

26 standard-deviation  intuition 

Diyelim ki üç bağımsız kaynağım var ve her biri yarın hava durumu için tahminlerde bulunuyor. Birincisi, yarın yağmur olasılığının 0, ikincisi ise olasılığın 1 olduğunu ve sonuncusunun da olasılığın% 50 olduğunu söylüyor. Bu bilgi verilen toplam olasılığı bilmek istiyorum. Eğer çarpma teoremini bağımsız olaylar için uygularsam, 0 aldım, ki bu …

26 probability  bayesian  pooling  model-averaging  forecast-combination 

Çalışkan olan herhangi bir öğrenci, "tüm öğrenciler tembeldir" in karşı örneklerinden biridir. Bazı basit karşı örnekler nelerdir? "Eğer ve rastgele değişkenleri birbiri ile ilişkili değilse o zaman bağımsızdır"?XXXYYY

26 correlation  random-variable  independence 

Kement regresyonu için en iyi çözümün (örneğin minimum test hatası) özelliklerini varsayalım. böylece \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 \ sağ) .L …

26 regression  feature-selection  lasso  regularization