İstatistikler ve Büyük Veri

Standart sapmanın her zaman normal dağılım varsayımı üzerine inşa edilip edilmediğini merak ediyorum. Başka bir deyişle, örnek normal olarak dağıtılmamışsa, standart sapmayı kullanmak bir hata olarak mı değerlendirilmelidir?

10 normal-distribution  standard-deviation 

Gelen bu popüler soruya , yüksek upvoted cevap MLE ve Baum Welch HMM uydurma ayrı yapar. Eğitim problemi için aşağıdaki 3 algoritmayı kullanabiliriz: MLE (maksimum olabilirlik tahmini), Viterbi eğitimi (Viterbi kod çözme ile karıştırmayın), Baum Welch = ileri-geri algoritma ANCAK Wikipedia'da diyor Baum-Welch algoritması, parametrelerin maksimum olabilirlik tahminini bulmak için …

10 hidden-markov-model  expectation-maximization 

Ben sadece eğik bir döndürme (promax) kullanarak bir FA çalıştırın ve bir öğe bir faktör üzerinde 1.041 faktör yükü, (ve desen matrisi kullanan diğer faktörler üzerinde -.131, -.119 ve .065 faktör yükleri ) verdi . Ne anlama geldiğinden emin değilim, sadece -1 ile 1 arasında olabileceğini düşündüm. Eğik dönme nedeniyle …

10 pca  factor-analysis  factor-rotation 

Ankraj hakkında konuşurken Daha Hızlı RCNN belgesinde, "referans kutuları piramitleri" kullanarak ne anlama geliyorlar ve bu nasıl yapılır? Bu sadece W * H * k bağlantı noktalarının her birinde bir sınırlama kutusunun üretildiği anlamına mı geliyor? Burada W = genişlik, H = yükseklik ve k = en boy oranı * …

10 deep-learning  computer-vision 

SVM'leri okudum ve bir optimizasyon problemi çözdüklerini ve maksimum marj fikrinin çok makul olduğunu öğrendim. Şimdi, çekirdekleri kullanarak, doğrusal olmayan ayırma sınırlarını bile bulabilirler ki bu harikaydı. Şimdiye kadar, SVM'lerin (özel bir çekirdek makinesi) ve çekirdek makinelerinin sinir ağlarıyla nasıl ilişkili olduğu hakkında hiçbir fikrim yok mu? Yorumlarına düşünün Yann …

10 machine-learning  neural-networks  svm  deep-learning  kernel-trick 

Bu daha kavramsal bir soru, ama kullandığım Rzaman içindeki paketlerden bahsedeceğim R. Amaç, öngörme amacıyla doğrusal bir modele uymak ve daha sonra rasgele etkilerin bulunamayacağı yerlerde tahminler yapmak ise, karışık efektler modeli kullanmanın herhangi bir faydası var mı yoksa bunun yerine sabit efekt modeli mi kullanılmalı? Örneğin, ağırlık ve boy …

10 r  multiple-regression  mixed-model  lme4-nlme 

Veri madenciliği veya büyük verilerde endüstri deneyimim yok, bu yüzden biraz deneyim paylaştığınızı duymak isterim. İnsanlar gerçekten büyük bir veri kümesinde k-ortalamaları, PAM, CLARA, vs. çalıştırıyor mu? Yoksa rastgele bir örnek mi seçtiler? Sadece veri kümesinin bir örneğini alırlarsa, veri kümesi normal olarak dağıtılmazsa sonuç güvenilir olur mu? Bu algoritmaları …

10 clustering  data-mining  k-means  convergence  large-data 

Hamilton dinamikleri bazı durumlarda Metropolis algoritmasında rastgele yürüyüşten daha iyi performans gösterir. Birisi sebebini çok fazla matematik olmadan basit kelimelerle açıklayabilir mi?

10 mcmc 

Teknik terimlerin yanlış kullanımı için özür diler. Evrişimli sinir ağları (CNN'ler) aracılığıyla anlamsal bölümleme projesi üzerinde çalışıyorum; Encoder-Decoder türünde bir mimari uygulamaya çalıştığından, çıktı girdiyle aynı boyuttadır. Etiketleri nasıl tasarlıyorsunuz? Hangi kayıp fonksiyonu uygulanmalıdır? Özellikle ağır sınıf dengesizliği durumunda (ancak sınıflar arasındaki oran görüntüden görüntüye değişir). Sorun iki sınıfla ilgilidir …

10 conv-neural-network  image-processing  segmentation 

Kümeleme performansını değerlendirmeye çalışıyorum. Metriklerle ilgili skiscit-learn belgelerini okuyordum . ARI ve AMI arasındaki farkı anlamıyorum. Bana öyle geliyor ki aynı şeyi iki farklı şekilde yapıyorlar. Belgelerden alıntı: Ground_tre sınıfı atamaları label_true ve aynı sample_pred örneklerinin kümeleme algoritması atamaları hakkında bilgi verildiğinde, düzeltilmiş Rand endeksi , iki atamanın benzerliğini ölçen, …

10 clustering  python  scikit-learn 

Veya hangi koşullar bunu garanti eder? Genel olarak (ve sadece normal ve binom modelleri değil), bu iddiayı bozan temel nedenin, örnekleme modeli ile önceki model arasında tutarsızlık olduğunu varsayıyorum, ama başka ne var? Bu konuyla başlıyorum, bu yüzden kolay örnekleri gerçekten takdir ediyorum

10 bayesian  variance  information-theory 

y=β0+β1x1+ε0y=β0+β1x1+ε0y = \beta_{0} + \beta_{1}x_{1} + \varepsilon_{0} Yukarıda belirtilen çok basit doğrusal regresyon gibi regresyon modellerini tanımlayan dil sıklıkla değişir ve bu tür varyasyonlar genellikle anlamlarda hafif değişimler taşır. Örneğin, modelin denklemin sol tarafındaki kısmı (bilmediğim diğerleri arasında) parantez içindeki çağrışımlar ve ifadelerle ifade edilebilir: Bağımlı değişken (nedensel bağımlılıkta ipuçları) …

10 regression  terminology 

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} Merkezi Limit Teoremi (CLT), X1,X2,…X1,X2,…X_1,X_2,\dots bağımsız ve aynı şekilde dağıtılmış (iid) olduğunu belirtir E[Xi]=0E[Xi]=0\E[X_i]=0 ve Var(Xi)&lt;∞Var⁡(Xi)&lt;∞\operatorname{ Var} (X_i)<\infty , toplam normal bir dağılıma n \ to \ infty olarak yakınsar n→∞n→∞n\to\infty: Σi = 1nXben→ N( 0 ,n--√) .Σben=1nXben→N-(0,n). \sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right). Bunun yerine, X1,X2, …X1,X2,...X_1,X_2,\dots sabit dağılımlı …

10 markov-process  central-limit-theorem 

Dengesiz bir olayı tespit etmek için Çift Yönlü RNN kullanıyorum. Pozitif sınıf, negatif sınıftan 100 kat daha azdır. Düzenleme kullanımı olmamasına rağmen tren setinde% 100, doğrulama setinde% 30 doğruluk elde edebilirim. L2 regülasyonunu açtım ve sonuç, daha uzun öğrenme yerine tren setinde sadece% 30 doğruluk ve doğrulama setinde% 100 doğruluk. …

10 neural-networks  deep-learning  regularization  rnn 

Makine Öğrenimine (Finansta teori ve uygulama) daha da derinleştirmek istiyorum. Makine Öğrenimi için temel olarak karmaşık analiz ve fonksiyonel analizin ne kadar alakalı olduğunu sormak istiyorum. Bu konuları öğrenmem gerekiyor mu yoksa kendimi başka bir konuya mı yoğunlaştırmalıyım (eğer öyleyse, hangisine?)

10 machine-learning  pac-learning