İstatistikler ve Büyük Veri

Kesin konumları bilinmeyen ancak bilinen parametrelere sahip normal dağılımlara göre dağıtılmış (örneğin ve iki nesne verildiğini varsayalım . Bunların her ikisinin de iki değişkenli normlar olduğunu varsayabiliriz; öyle ki, konumlar koordinatları üzerinde bir dağılımla tanımlanır (yani, ve , sırasıyla ve için beklenen koordinatlarını içeren vektörlerdir ). Ayrıca nesnelerin bağımsız olduğunu …

41 normal-distribution  distance-functions 

Normallik testlerini biliyorum, ancak "Poisson-ness" için nasıl test yapabilirim? Bir Poisson dağılımından alındığından şüphelendiğim 1000 negatif olmayan tamsayı örneğim var ve bunu test etmek istiyorum.

41 hypothesis-testing  distributions  poisson-distribution  goodness-of-fit 

Wolfram Alpha'ya bakarsanız Veya bu Vikipedi sayfası Medyan yaşa göre ülkelerin listesi Açıkçası medyan , çağlar söz konusu olduğunda seçim istatistiği gibi görünüyor. Aritmetik ortalamanın neden daha kötü bir istatistik olabileceğini kendi kendime açıklayamıyorum . Neden bu kadar? Aslında burada yayınlanan çünkü bu sitenin var olduğunu bilmiyordum.

41 mean  median 

Eğer iki değişken 0 korelasyona sahipse, neden mutlaka bağımsız değiller? Özel koşullar altında sıfır ilişkili değişkenler bağımsız mı? Mümkünse, oldukça teknik bir açıklama değil sezgisel bir açıklama arıyorum.

41 correlation  independence 

Weka'da sınıflandırmayı belirli bir veri kümesi için çalıştırıyorum ve nominal bir değeri tahmin etmeye çalışırsam, çıkışın özellikle doğru ve yanlış tahmin edilmiş değerleri gösterdiğini fark ettim. Ancak, şimdi sayısal bir özellik için çalıştırıyorum ve çıktı: Correlation coefficient 0.3305 Mean absolute error 11.6268 Root mean squared error 46.8547 Relative absolute error …

41 machine-learning  error  weka  mse  rms 

Normal ve Gauss dağılımları arasında derin bir fark var mı, onları ayırmadan kullanan birçok makale gördüm ve genellikle aynı şey olarak da bahsettim. Bununla birlikte, PI'm son zamanlarda bana, bir zamanlar önce başka bir çıkışta duyduğum, Gaussian'ın ortalama = 0 ve std = 1 olan özel durumunun normal olduğunu söyledi, …

41 normal-distribution  terminology 

Varsayalım ve Φ ( ⋅ ) yoğunluk fonksiyonu ve standart normal dağılımın dağılım işlevi vardır.ϕ ( ⋅ )ϕ(⋅)\phi(\cdot)Φ ( ⋅ )Φ(⋅)\Phi(\cdot) Bir integral nasıl hesaplanır: ∫∞- ∞Φ ( w - ab) Φ(w)d w∫−∞∞Φ(w−ab)ϕ(w)dw\int^{\infty}_{-\infty}\Phi\left(\frac{w-a}{b}\right)\phi(w)\,\mathrm dw

41 mathematical-statistics  normal-distribution  integral 

F-ölçüm değerleri arasındaki farkı nasıl yorumlayacağımı bilmek istiyorum. F-ölçüsünün hassasiyet ve geri çağırma arasında dengeli bir ortalama olduğunu biliyorum, ancak F-ölçülerindeki bir farkın pratik anlamını soruyorum. Örneğin, eğer bir C1 sınıflandırıcısı 0,4 kesinliği ve bir diğer 8 sınıflandırıcısı C2 0,8 kesinliğine sahipse, C2'nin C1 ile karşılaştırıldığında test örneklerinin çiftini doğru …

41 classification  precision-recall 

oranını tahmin eden bir model inşa etmeyi düşünüyorum , burada ve ve . Dolayısıyla, oran ile arasında olacaktır .a ≤ b a > 0 b > 0 0 1a/ba/ba/ba≤ba≤ba \le ba>0a>0a > 0b>0b>0b > 0000111 Doğrusal regresyon kullanabilirim, ancak doğal olarak 0..1 ile sınırlı değildir. İlişkinin doğrusal olduğuna inanmak için …

41 regression  logistic  generalized-linear-model  beta-distribution  beta-regression 

Eğilim puanları ve nedensel analizler için nispeten yeni olduğumu kabul ediyorum. Yeni gelen biri olarak benim için açık olmayan bir şey, eğilim puanlarını kullanarak “dengelemenin” bir regresyonda eş değişkenler eklediğimizde olanlardan matematiksel olarak nasıl farklı olduğu? Operasyonda farklı olan nedir ve neden regresyona alt popülasyon eş değişkenleri eklemekten daha iyidir? …

41 regression  multivariate-analysis  causality  propensity-scores 

Özellikle, bu ifadeyi merak ediyorum galiba: TensorFlow'un gelecekteki ana sürümleri, gradyanların varsayılan olarak backprop'taki etiket girişlerine akmasına izin verecek. Kullandığımda gösteriliyor tf.nn.softmax_cross_entropy_with_logits. Aynı mesajda beni incelemeye çağırıyor tf.nn.softmax_cross_entropy_with_logits_v2. Dokümantasyona baktım, ancak yalnızca şunu belirtir tf.nn.softmax_cross_entropy_with_logits_v2: Geri yayılım hem logitlerde hem de etiketlerde gerçekleşecek. Etiketlerin geri yayılmasını engellemek için, etiket tensörlerini …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

Bilgisayar bilimi geçmişim var ama internette problem çözerek kendime veri bilimini öğretmeye çalışıyorum. Son birkaç haftadır bu problem üzerinde çalışıyorum (yaklaşık 900 satır ve 10 özellik). Başlangıçta lojistik regresyon kullanıyordum ama şimdi rastgele ormanlara geçtim. Rasgele orman modelimi eğitim verilerimde çalıştırdığımda auc için gerçekten yüksek değerler elde ediyorum (>% 99). …

41 random-forest  overfitting 

İki rastgele değişken A ve B istatistiksel olarak bağımsızdır. Bu, işlemin DAG'sinde şu anlama gelir: ve elbette . Ancak bu, B'den A'ya hiçbir ön kapı olmadığı anlamına mı geliyor?(A⊥⊥B)(A⊥⊥B)(A {\perp\!\!\!\perp} B)P(A|B)=P(A)P(A|B)=P(A)P(A|B)=P(A) Çünkü o zaman almalıyız . Yani durum buysa, istatistiksel bağımsızlık otomatik olarak nedensellik eksikliği anlamına mı geliyor?P(A|do(B))=P(A)P(A|do(B))=P(A)P(A|do(B))=P(A)

40 independence  causality  bayesian-network  dag 

Şu anda Bengio'nun ve Bergsta'nın Hiper-Parametre Optimizasyonu için Rasgele Arama'dan [1] geçiyorum . Sorum şu: Buradaki insanlar bu iddiaya katılıyorlar mı? Yaptığım işte, rasgele aramayı kolayca gerçekleştirebilecek araçların bulunmamasından dolayı, çoğunlukla grid aramayı kullanıyorum. Izgarayı rastgele aramayı kullanan insanların deneyimi nedir?

40 machine-learning  hyperparameter  optimization 

Neden fiili standart sigmoid fonksiyonu, 11+e−x11+e−x\frac{1}{1+e^{-x}} , (derin olmayan) sinir ağlarında ve lojistik regresyonda çok mu popüler? Neden daha hızlı işlem süresi veya daha yavaş bozunma ile diğer türetilebilir fonksiyonların birçoğunu kullanmıyoruz (bu yüzden kaybolma derecesi daha az gerçekleşir). Sigmoid fonksiyonları hakkında birkaç örnek Wikipedia'da . Yavaş yavaş bozulan ve …

40 logistic  neural-networks  least-squares