İstatistikler ve Büyük Veri

İstatistik, makine öğrenmesi, veri analizi, veri madenciliği ve veri görselleştirmesi ile ilgilenen kişiler için soru cevap


2
Seçilen yanlış-pozitif / yanlış-negatif hata oranlarını ve temel maliyet oranını titizlikle nasıl gerekçelendirebilirim?
bağlam Bir grup sosyal bilimci ve istatistikçi ( Benjamin vd., 2017 ) son zamanlarda, "istatistiksel anlamlılık" belirlemek için bir eşik olarak kullanılan tipik yanlış-pozitif oranın ( = .05) daha muhafazakar bir eşiğe ayarlanması gerektiğini önerdi ( = .005). Rakip bir sosyal bilimci ve istatistikçi grubu ( Lakens ve ark., 2018 …

3
Bertrand'ın kutu paradoksunun Monte Carlo simülasyonu nasıl programlanır?
Mensa Uluslararası Facebook Sayfasına aşağıdaki sorun gönderildi: \quad\quad\quad\quad\quad\quad\quad\quad Gönderinin kendisi 1000+ yorum aldı, ancak Bertrand'ın kutu paradoksu olduğunu ve cevabın 2 olduğunu bildiğim için orada tartışma hakkında ayrıntılara girmeyeceğim. . Beni burada ilgilendiren şey Monte Carlo yaklaşımını kullanarak bu soruna nasıl cevap veriyor? Bu sorunu çözmek için algoritma nasıl?2323\frac23 İşte …

1
Parti normalizasyonu ile geri yayılımın matris formu
Parti normalizasyonu , derin sinir ağlarında önemli performans iyileştirmeleri ile kredilendirilmiştir. İnternetteki birçok malzeme, aktivasyon bazında nasıl uygulanacağını göstermektedir. Zaten matris cebiri kullanarak backprop uyguladım ve yüksek seviyeli dillerde çalıştığımı Rcpp(yoğun matris çarpımı için (ve sonunda forGPU'lara güvenerek) çalışırken , her şeyi kopyalayıp-döngülere başvurmak muhtemelen kodumu yavaşlatacaktır) büyük bir acıya …

1
Are -inci kök dönüşümler tavsiye?
Meslektaşım yanıt değişkenini (yani ) yükselterek dönüştürdükten sonra bazı verileri analiz etmek istiyor .1818\frac18y0.125y0.125y^{0.125} Bundan rahatsızım ama nedenini açıklamakta zorlanıyorum. Bu dönüşüm için herhangi bir mekanik gerekçe düşünemiyorum. Daha önce hiç görmedim ve belki de Tip I hata oranlarını falan şişirdiğinden endişe ediyorum - ama bu endişeleri destekleyecek hiçbir şeyim …

3
Araştırmacı 1 1000 regresyon, araştırmacı 2 sadece 1 çalışıyor, her ikisi de aynı sonuçları alıyor - farklı çıkarımlar yapmalılar mı?
Bir araştırmacının bir veri kümesini keşfettiğini ve 1000 farklı regresyon gerçekleştirdiğini ve aralarında ilginç bir ilişki bulduğunu düşünün. Şimdi , aynı verilere sahip başka bir araştırmacının sadece 1 regresyon gerçekleştirdiğini ve diğer araştırmacının bulmak için 1000 regresyon aldığını ortaya çıkardığını hayal edin . Araştırmacı 2 araştırmacı 1'i tanımıyor. Araştırmacı 1 …

1
Genelleştirilmiş katkı modelleri (GAM'lar), etkileşimler ve ortak değişkenler
Tahmin için bir dizi araç araştırıyorum ve Genelleştirilmiş Katkı Modellerinin (GAM) bu amaç için en yüksek potansiyele sahip olduğunu gördüm. OYUNLAR harika! Karmaşık modellerin çok kısa bir şekilde belirlenmesine izin verirler. Bununla birlikte, aynı özlük bana, özellikle de GAM'ların etkileşim terimlerini ve ortak değişkenleri nasıl algıladıkları konusunda bazı karışıklıklara neden …
12 r  modeling  gam  mgcv 

5
Doğrusal regresyon geçersiz mi? [kapalı]
Kapalı . Bu soru görüş temelli . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Bu yayını düzenleyerek gerçekler ve alıntılarla yanıtlanabilmesi için soruyu güncelleyin . 2 yıl önce kapalı . Şu anda doğrusal bir regresyon sınıfındayım, ancak öğrendiğim şeyin artık modern istatistikler veya makine öğrenimi ile ilgili …

1
GAM uyumunun özeti
Aşağıdaki gibi bir GAM takarsak: gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College) Burada, Collegepaketin içinde bulunan veri kümesini kullanıyoruz ISLR. Şimdi, bu uyumun özetini …
12 anova  gam 

2
Gösteren bir örnek oluşturma
Ne olan bir olasılık dağılımının bir örneğini oluşturmak için varsayarak tutar ?E(1X)=1E(X)E(1X)=1E(X)\mathbb{E}\left(\frac{1}{X}\right)=\frac{1}{\mathbb{E}(X)}P(X≠0)=1P(X≠0)=1\mathbb{P}(X\ne0)=1 Bir pozitif değerli RV için Jensen eşitsizliğinin izler eşitsizlik gibidir ( ise ters eşitsizlik ). Bunun nedeni, eşlemesinin için dışbükey ve için içbükey olmasıdır . Jensen eşitsizliğindeki eşitlik koşulundan sonra, gerekli eşitliğin sağlanması için dağılımın dejenere olması gerektiğini …

2
Lojistik Regresyonu ve olasılığını anlama
Lojistik regresyonun parametre tahmini / eğitimi gerçekten nasıl çalışır? Şimdiye kadar sahip olduğum şeyi koymaya çalışacağım. Bir olasılık şeklinde lojistik fonksiyonun çıkış x değerine bağlı olarak y çıktısı: P( y= 1 | x ) = 11 + e- ωTx≡ σ( ωTx )P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) P( y= 0 | x ) = 1 …

5
ne zamanvebağımsız olarak
Y X ∼ χ 2 ( n - 1 ) Y ∼ Beta ( nXXX ve bağımsız olarak dağıtılmış rastgele değişkenlerdir; burada ve . dağılımı nedir ?YYYX∼χ2(n−1)X∼χ(n−1)2X\sim\chi^2_{(n-1)}Y∼Beta(n2−1,n2−1)Y∼Beta(n2−1,n2−1)Y\sim\text{Beta}\left(\frac{n}{2}-1,\frac{n}{2}-1\right)Z=(2Y−1)X−−√Z=(2Y−1)XZ=(2Y-1)\sqrt X nin ortak yoğunluğu(X,Y)(X,Y)(X,Y) fX,Y(x,y)=fX(x)fY(y)=e−x2xn−12−12n−12Γ(n−12)⋅yn2−2(1−y)n2−2B(n2−1,n2−1)1{x&gt;0,0&lt;y&lt;1}fX,Y(x,y)=fX(x)fY(y)=e−x2xn−12−12n−12Γ(n−12)⋅yn2−2(1−y)n2−2B(n2−1,n2−1)1{x&gt;0,0&lt;y&lt;1}f_{X,Y}(x,y)=f_X(x)f_Y(y)=\frac{e^{-\frac{x}{2}}x^{\frac{n-1}{2}-1}}{2^{\frac{n-1}{2}}\Gamma\left(\frac{n-1}{2}\right)}\cdot\frac{y^{\frac{n}{2}-2}(1-y)^{\frac{n}{2}-2}}{B\left(\frac{n}{2}-1,\frac{n}{2}-1\right)}\mathbf1_{\{x>0\,,\,00\,,\,|z|<w\}} marjinal , .f Z ( z ) = ∫ ∞ | z | f Z , W ( …

1
Spline veya kesirli polinomlar kullanılırken eksik veriler nasıl ele alınabilir?
Çok Değişkenli Model Oluşturma: Patrick Royston ve Willie Sauerbrei tarafından Sürekli Değişkenleri Modellemek için Kesirli Polinomlara Dayalı Regresyon Analizine Pragmatik Bir Yaklaşım okuyorum . Şimdiye kadar etkilendim ve daha önce düşünmediğim ilginç bir yaklaşım. Ancak yazarlar eksik verilerle ilgilenmezler. Gerçekten de, s. 17 Kayıp verilerin "pek çok ek sorun yarattığını …

3
Bugün Usain Bolt'tan daha hızlı biri var mı?
EDIT: Örnek bir istatistik verilen belirli bir popülasyonda "gerçek" bir maksimum olasılığını belirleme teknik konular ve metodoloji ile daha fazla ilgileniyorum. Hem açık hem de ince olan rekor kıran çizgi zamanlarından Bay Bolt'tan daha hızlı koşucu olasılığını tahmin etmekte sorunlar var. Durumun böyle olmadığını hayal ederek beni mizah edin. Usain …


Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.