İstatistikler ve Büyük Veri

İstatistik, makine öğrenmesi, veri analizi, veri madenciliği ve veri görselleştirmesi ile ilgilenen kişiler için soru cevap

2
Doğrusal regresyonda, neden yalnızca etkileşim terimleriyle ilgiliysek kuadratik terimleri eklemeliyiz?
için doğrusal bir regresyon modeliyle ilgilendiğimi varsayalım , çünkü iki ortak değişken arasındaki etkileşimin Y üzerinde bir etkisi olup olmadığını görmek istiyorum.Yi=β0+β1x1+β2x2+β3x1x2Yi=β0+β1x1+β2x2+β3x1x2Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2 Bir profesörün ders notlarında (kiminle temasa geçmediğim) şunu belirtir: Etkileşim koşullarını dahil ederken, ikinci derece koşullarını eklemelisiniz. yani regresyona dahil …

1
Karışık Etkilerin Lojistik Regresyonundan Sabit Etkilerin Yorumlanması
Bir UCLA web sayfasında karışık etkiler lojistik regresyonu ile ilgili ifadelerle kafam karıştı . Böyle bir modele uymaktan kaynaklanan sabit etki katsayıları tablosunu gösterirler ve aşağıdaki ilk paragraf, katsayıları tam olarak normal bir lojistik regresyon gibi yorumlamaktadır. Ama sonra olasılık oranları hakkında konuştuklarında, onları rastgele etkiler üzerinde koşullu olarak yorumlamanız …

2
Örnek dışı tahminleri iyileştirmeyen '' önemli değişken '' - nasıl yorumlanır?
Birçok kullanıcı için oldukça basit olacağını düşündüğüm bir sorum var. (İ) çeşitli açıklayıcı değişkenlerle yanıt değişkenimin ilişkisini araştırmak için doğrusal regresyon modelleri kullanıyorum ve (ii) açıklayıcı değişkenleri kullanarak yanıt değişkenimi tahmin ediyorum. Belirli bir açıklayıcı değişken X'in yanıt değişkenimi önemli ölçüde etkilediği görülmektedir. Bu açıklayıcı değişken X'in katma değerini yanıt …

1
UMVUE değerini bul
İzin Vermek X1,X2, . . . ,XnX1,X2,...,XnX_1, X_2, . . . , X_n pdf'ye sahip rastgele değişkenlerin olması fX( x ∣ θ ) = θ ( 1 + x)- ( 1 + θ )ben( 0 , ∞ )( x )fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)f_X(x\mid\theta) =\theta(1 +x)^{−(1+\theta)}I_{(0,\infty)}(x) nerede θ > 0θ>0\theta >0. UMVUE değerini verin1θ1θ\frac{1}{\theta} …

2
Ortalamanın karesi için tarafsız, pozitif tahminci
Eğer gerçek (bilinmeyen) bir dağılımından iid numunelerin erişebilir ortalama ve varyans varsayalım ve biz tahmin etmek istiyoruz .μ,σ2μ,σ2\mu, \sigma^2μ2μ2\mu^2 Bu miktarın tarafsız, daima pozitif bir tahmincisini nasıl oluşturabiliriz? Örnek ortalamanın karesi alındığında önyargılıdır ve miktarı fazla tahmin eder, esp. Eğer yakın 0 ve büyüktür.μ~2μ~2\tilde{\mu}^2μμ\muσ2σ2\sigma^2 Bu muhtemelen önemsiz bir soru ama …

2
Neden artıklar regresyondaki hatalarla ilgili varsayımları test etmek için kullanıyoruz?
Diyelim ki .Yi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiYi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiY_i = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \dots + \beta_kX_{ik} + \epsilon_i Regresyon hatalarının normalde ortalama sıfır ve sabit varyansla dağıtılması gerektiği gibi bir takım varsayımlara sahiptir . Bu varsayımları, artıkların normal test etmek için normal bir QQ çizimi kullanarak ve artıkların sabit varyansla sıfıra değiştiğini kontrol …

4
Bir sütunun kategorik verileri olup olmadığı istatistiksel olarak nasıl kanıtlanır?
Python tüm kategorik değişkenleri bulmak için gereken bir veri çerçevesi var. Sütun türünü denetlemek her zaman işe yaramaz çünkü inttür de kategorik olabilir. Bu yüzden bir sütunun kategorik olup olmadığını belirlemek için doğru hipotez testi yöntemini bulmak için yardım arıyorum. Ki-kare testinin altında çalışıyordum ama bunun yeterince iyi olup olmadığından …


3
büyük veri kümeleri için gauss işlemi regresyonu
Çevrimiçi videolardan ve ders notlarından Gauss süreç gerilemesini öğreniyorum, benim anlayışım, puanlı bir veri setimiz varsa , verilerin boyutlu çok değişkenli bir Gaussian'dan örneklendiğini varsayarız . Yani sorum şu: Gauss süreç gerilemesi hala 10 milyonun olduğu milyonlarca durumda ? Çekirdek matrisi işlemi tamamen verimsiz kılacak kadar büyük olmayacak mı? Eğer …

2
AlphaZero belgesindeki Dirichlet gürültüsünün amacı
DeepMind'in AlphaGo Zero ve AlphaZero makalelerinde, Monte Carlo Ağacı Arama'daki kök düğümden (tahta durumu) önceki eylem olasılıklarına Dirichlet gürültüsü eklemeyi açıklarlar : Kök düğümündeki önceki olasılıklara Dirichlet gürültüsü eklenerek ek keşifler elde edilir s0s0s_0, özellikle , burada ve ; bu gürültü tüm hareketlerin denenmesini sağlar, ancak arama yine de kötü …

5
Koşullu olasılıklar - Bayesinizme özgü mü?
Koşullu olasılıkların Bayesizm'e özgü olup olmadığını veya daha çok istatistik / olasılık insanları arasında birkaç düşünce okulu arasında paylaşılan genel bir kavram olup olmadığını merak ediyorum. Bir çeşit olduğunu varsayıyorum, çünkü kimsenin yapamayacağını varsayıyorum p ( A , B ) = p ( A | B ) p ( B …

3
bağımsız değişken olduğunda dağılımı
Rutin bir egzersiz olarak, ve bağımsız rasgele değişkenleri olduğu dağılımını bulmaya çalışıyorum .X2+Y2−−−−−−−√X2+Y2\sqrt{X^2+Y^2}XXXYYYU(0,1)U(0,1) U(0,1) nin eklem yoğunluğu(X,Y)(X,Y)(X,Y)fX,Y(x,y)=10&lt;x,y&lt;1fX,Y(x,y)=10&lt;x,y&lt;1f_{X,Y}(x,y)=\mathbf 1_{0\cos^{-1}\left(\frac{1}{z}\right)cosθcos⁡θ\cos\thetaθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]zgünahθ&lt;1⟹θ&lt;sin−1(1z)zsin⁡θ&lt;1⟹θ&lt;sin−1⁡(1z)z\sin\theta<1\implies\theta<\sin^{-1}\left(\frac{1}{z}\right)sinθsin⁡θ\sin\thetaθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right] Yani, için .1&lt;z&lt;2–√1&lt;z&lt;21< z<\sqrt 2cos−1(1z)&lt;θ&lt;sin−1(1z)cos−1⁡(1z)&lt;θ&lt;sin−1⁡(1z)\cos^{-1}\left(\frac{1}{z}\right)<\theta<\sin^{-1}\left(\frac{1}{z}\right) Dönüşümün jacobianının mutlak değeri|J|=z|J|=z|J|=z Böylece ortak yoğunluğu ile verilmektedir(Z,Θ)(Z,Θ)(Z,\Theta) fZ,Θ(z,θ)=z1{z∈(0,1),θ∈(0,π/2)}⋃{z∈(1,2√),θ∈(cos−1(1/z),sin−1(1/z))}fZ,Θ(z,θ)=z1{z∈(0,1),θ∈(0,π/2)}⋃{z∈(1,2),θ∈(cos−1⁡(1/z),sin−1⁡(1/z))}f_{Z,\Theta}(z,\theta)=z\mathbf 1_{\{z\in(0,1),\,\theta\in\left(0,\pi/2\right)\}\bigcup\{z\in(1,\sqrt2),\,\theta\in\left(\cos^{-1}\left(1/z\right),\sin^{-1}\left(1/z\right)\right)\}} Entegre , biz pdf elde gibiθθ\thetaZZZ fZ(z)=πz210&lt;z&lt;1+(πz2−2zcos−1(1z))11&lt;z&lt;2√fZ(z)=πz210&lt;z&lt;1+(πz2−2zcos−1⁡(1z))11&lt;z&lt;2f_Z(z)=\frac{\pi z}{2}\mathbf 1_{0\sqrt 2 \end{cases} doğru ifadeye benziyor. Farklılaşan durumda …

2
Birim Gaussian ile KL Kaybı
Bir VAE uyguluyorum ve basitleştirilmiş tek değişkenli gauss KL sapmasının çevrimiçi olarak iki farklı uygulamasını fark ettim. Uygun olarak, orijinal diverjans burada bir bir birim gaussian olduğunu varsayarsak, ve , bu İşte karışıklığım burada. Yukarıdaki uygulama ile birkaç belirsiz github depoları bulmuş olmama rağmen, daha yaygın olarak kullandığım şey:KLloss=log(σ2σ1)+σ21+(μ1−μ2)22σ22−12KLloss=log⁡(σ2σ1)+σ12+(μ1−μ2)22σ22−12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} …

1
ARIMA vs Kalman filtresi - bunlar nasıl ilişkilidir?
Kalman filtresi hakkında okumaya başladığımda, bunun özel bir ARIMA modeli (yani ARIMA (0,1,1)) olduğunu düşündüm. Ama aslında durum daha karmaşık görünüyor. Her şeyden önce, ARIMA tahmin için kullanılabilir ve Kalman filtresi filtreleme içindir. Ama yakından ilişkili değiller mi? Soru: ARIMA ve Kalman filtresi arasındaki ilişki nedir? Biri diğerini mi kullanıyor? …

1
Rasgele Fourier özellikleri neden negatif değil?
Rastgele Fourier özellikleri çekirdek işlevlerine yaklaşım sağlar. SVM'ler ve Gauss süreçleri gibi çeşitli çekirdek yöntemleri için kullanılırlar. Bugün, TensorFlow uygulamasını kullanmayı denedim ve özelliklerimin yarısı için negatif değerler aldım. Anladığım kadarıyla, bu olmamalı. Bu yüzden --- beklediğim gibi - özelliklerin [0,1] içinde yaşaması gerektiğini söyleyen orijinal makaleye geri döndüm . …

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.