İstatistikler ve Büyük Veri

Bunun daha önce sorulup sorulmadığını bilmiyorum, ama bunun hakkında hiçbir şey bulamadım. Benim sorum, herhangi birinin karışık etkiler modelinde sabit ve rastgele faktörlerin her biri tarafından açıklanan varyans oranını nasıl elde edeceğini öğrenmek için iyi bir referans sağlayıp sağlayamayacağıdır.

19 mixed-model  variance 

Alexandru Niculescu-Mizil ve Rich Caruana'nın " Kalibre Edilmiş Olasılıkları Artırmaktan Elde Etme " adlı makalesini ve bu konudaki tartışmayı okudum . Bununla birlikte, hala çok sınıflı güçlendirici sınıflandırıcımın (karar kütükleri ile hafifçe artırın) çıktısını kalibre etmek için lojistik veya Platt'ın ölçeklendirmesini anlamakta ve uygulamakta sorun yaşıyorum . Genelleştirilmiş doğrusal modellere …

19 machine-learning  boosting 

'Transfer öğrenimi' ve 'alan adı uyarlaması' arasında herhangi bir fark var mı? Bağlam hakkında bir bilgim yok, ama benim anlayışım bazı veri setimiz 1 ve üzerinde çalıştığımız, bundan sonra modelimizi sıfırdan yeniden eğitmeden uyarlamak istediğimiz, 'transfer öğrenimi' ve 'alan adı uyarlaması' bu sorunun çözülmesine yardımcı olur. Evrişimli Sinir Ağları alanına …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

Eğer birey grupları içinde bulunduğu tek bir veri kesiti (okullar içinde örneğin öğrenci) varsa ve formun bir model tahmin etmek isteyen varsayalım bireysel düzey özellikleri ve bir vektör bir sabit.Y_i = a + B*X_iXa Bu durumda, Bbağımsız ilgi değişkeninizle ilişkilendirildiğinden, grup arası heterojenliğin puan tahminlerinizi ve SE'lerini etkilediğini varsayalım . …

19 econometrics  multilevel-analysis  fixed-effects-model  endogeneity  clustered-standard-errors 

"Feature space "'nin tanımı nedir? Örneğin, SVM'leri okurken "özellik alanına eşleme" hakkında okudum. CART hakkında okurken, "özellik alanına bölümleme" hakkında okudum. Neler olduğunu anlıyorum, özellikle de CART için, ama kaçırdığım bir tanım olduğunu düşünüyorum. "Özellik alanı" nın genel bir tanımı var mı? SVM çekirdekleri ve / veya CART hakkında bana …

19 machine-learning  svm  feature-selection  cart  feature-construction 

Soru biraz garip gelebilir çünkü istatistiksel çıkarımda ve sinir ağlarında yeniyim. Sinir ağlarını kullanan sınıflandırma problemlerinde girişlerinin alanını çıkışlarının alanıyla eşleştiren fonksiyonunu öğrenmek istediğimizi söylüyoruz : x yf∗f∗f^*xxxyyy f∗(x;θ)=yf∗(x;θ)=yf^*(x; \theta) = y Parametreleri ( ) doğrusal olmayan bir işlevi modellemek veya bir olasılık yoğunluk işlevini modellemek için mi takıyoruz?θθ\theta Soruyu …

19 machine-learning  neural-networks 

Bir veri matrisini ayrıştırmak için çekirdek SVD kullanan bir kağıda algoritma uygulamak istiyorum. Bu yüzden çekirdek yöntemleri ve çekirdek PCA vb. İle ilgili materyaller okuyorum. Ama özellikle matematiksel ayrıntılar söz konusu olduğunda benim için hala çok belirsiz ve birkaç sorum var. Neden çekirdek yöntemleri? Ya da çekirdek yöntemlerinin faydaları nelerdir? …

19 pca  svd  kernel-trick 

SARSA ve Q Learning benzer şekilde çalışan pekiştirici öğrenme algoritmalarıdır. En çarpıcı fark, Q Learning politika dışındayken SARSA'nın politikada olmasıdır. Güncelleme kuralları aşağıdaki gibidir: Q Öğrenme: Q(st,at)←Q(st,at)+α[rt+1+γmaxa′Q(st+1,a′)−Q(st,at)]Q(st,at)←Q(st,at)+α[rt+1+γmaxa′Q(st+1,a′)−Q(st,at)]Q(s_t,a_t)←Q(s_t,a_t)+α[r_{t+1}+γ\max_{a'}Q(s_{t+1},a')−Q(s_t,a_t)] SARSA: Q(st,at)←Q(st,at)+α[rt+1+γQ(st+1,at+1)−Q(st,at)]Q(st,at)←Q(st,at)+α[rt+1+γQ(st+1,at+1)−Q(st,at)]Q(s_t,a_t)←Q(s_t,a_t)+α[r_{t+1}+γQ(s_{t+1},a_{t+1})−Q(s_t,a_t)] burada st,atst,ats_t,\,a_t ve rtrtr_t durum, eylem ve ttt adımında ödül ve γγ\gamma bir indirim faktörüdür. SARSA'da gerçek eylemi gerçekleştirmemiz ve Q …

19 reinforcement-learning 

Lojistik regresyonun binom dağılımını nasıl kullandığını anlamaya çalışıyorum. Diyelim ki kuşlarda yuva başarısı okuyorum. Bir yuvanın başarılı olma olasılığı 0.6'dır. Binom dağılımını kullanarak, n denemede verilen r başarılarının olasılığını hesaplayabilirim (incelenen yuva sayısı). Peki binom dağılımı modelleme bağlamında nasıl kullanılır? Diyelim ki günlük sıcaklığın yuva başarısını nasıl etkilediğini bilmek istiyorum …

19 logistic  binomial 

Keras evrişim belgelerinden geçiyordum ve Conv1D ve Conv2D olmak üzere iki tür konvülsiyon buldum. Biraz web araması yaptım ve Conv1D ve Conv2D hakkında anladığım şey bu; Conv1D diziler için kullanılır ve Conv2D görüntüler için kullanılır. Her zaman evrişim sinir ağlarının sadece görüntüler için kullanıldığını düşündüm ve CNN'i bu şekilde görselleştirdim …

19 machine-learning  neural-networks  conv-neural-network  keras 

Yarı denetimli öğrenme yöntemlerini araştırdım ve "sözde etiketleme" kavramıyla karşılaştım. Anladığım kadarıyla, sözde etiketleme ile etiketlenmiş verilerin yanı sıra etiketlenmemiş veriler kümesine sahip olursunuz. Bir modeli sadece etiketli verilere göre eğitirsiniz. Daha sonra bu ilk verileri, etiketlenmemiş verileri sınıflandırmak (geçici etiketler eklemek) için kullanırsınız. Daha sonra hem etiketlenmiş hem de …

19 machine-learning  semi-supervised 

Aşırı uyumun matematiksel veya algoritmik bir tanımı var mı? Genellikle verilen tanımlar, her bir noktadan geçen bir çizgi ve doğrulama kaybı eğrisinin aniden yükseldiği klasik 2-B nokta grafiğidir. Fakat matematiksel olarak titiz bir tanım var mı?

18 mathematical-statistics  optimization  overfitting 

Regresyon için rastgele ormanlar kullanılır. Ancak, anladığım kadarıyla, her bir yaprağa ortalama bir hedef değer atarlar. Her ağaçta sadece sınırlı yapraklar bulunduğundan, hedefin regresyon modelimizden elde edebileceği sadece belirli değerler vardır. Yani bu sadece 'ayrık' bir regresyon değil (bir adım fonksiyonu gibi) ve 'sürekli' olan lineer regresyon gibi değil midir? …

18 regression  random-forest  cart 

Kademeli algoritmik değişken seçim yöntemleri, regresyon modellerinde ( ve SE'leri, p -değerleri, F istatistikleri vb.) Her tahmini az veya çok eğilimli olan ve gerçek tahmin edicileri hariç tutma olasılığı yüksek olan modelleri seçme eğilimindedir oldukça olgun bir simülasyon literatürüne göre yanlış öngörücüler içerir.ββ\beta LASSO, değişkenleri seçmek için kullanıldığında aynı şekilde …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Markov zinciri Monte Carlo'nun (MCMC) Fransız Wikipedia sayfasından ne olduğunu anlamaya çalışıyorum. Derler "Monte Carlo yöntemleri bir vektörün üretilmesi oluşur Markov zinciri olduğu xixix_ {i} yalnızca vektör verilerinden xi−1xi−1x_ {i-1} " 'bellek olmadan bu nedenle bir süreçtir' Markov uygun bir générer un de les yöntemleriyle de Monte-Carlo par chaînes vecteur …

18 mcmc