İstatistikler ve Büyük Veri

Kapalı . Bu sorunun ayrıntılara veya açıklığa ihtiyacı var . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Bu yayını düzenleyerek ayrıntıları ekleyin ve sorunu giderin . 3 yıl önce kapalı . Okuduklarım ve verilen cevaplardan gelmiş itibaren diğer sorular burada istediler, birçok sözde frequentist yöntemler gelmektedir matematiksel …

9 bayesian  frequentist  philosophical 

Çok sayıda kriket oyununu (birkaç bin) detaylandıran bir veri setim var. Kriket "bowlers" art arda "topa vuran oyuncu" art arda topu atmak. Melon topa vuran oyuncuyu dışarı çıkarmaya çalışıyor. Bu bakımdan, beyzbolda sürahi ve hamurlara oldukça benzer. Tüm veri kümesini aldım ve bir topa vuran topun toplam sayısını, bowling edilen …

9 probability  modeling  games 

Thompson Reuters'in canlı Olimpiyat madalyası sonuçlarını ve CIA'dan dünya çapında nüfus sayılarını çeken bir Web sayfası oluşturdum. Sonuçlar benim için ilginç - Macaristan, dünyanın geri kalanında altın madalyalarda çift haneli bir liderliğe sahip. Ayrıca, ABD ve Çin hemen hemen her kategoride en alt sıralarda. Sorum şu: Verileri adil bir şekilde …

9 statistical-significance 

Ben dağılımı dışarı figürü çalışıyorum burada , terimlerin her birini ayrı ayrı alarak, ve Ama (*) dağıtımından emin değilim( n - 1 )Σi = 1nZ2ben-(Σi = 1nZben)2( ∗ )(n-1)Σben=1nZben2-(Σben=1nZben)2(*) (n-1) \sum_{i=1}^n Z_i^2 - \left( \sum_{i=1}^n Z_i \right)^2 \qquad (*) Zben∼ N( 0 , 1 )Zben~N-(0,1)Z_i \sim \mathcal{N}(0,1)Σi = 1nZ2ben~χ2( n …

9 probability  distributions  normal-distribution 

Sabit özelliklerin sayısı göz önüne alındığında, Barnes-Hut t-SNE'nin karmaşıklığıO ( n günlüğün )O(nlog⁡n)O(n\log n), rastgele projeksiyonlar ve PCA, çok büyük veri setleri için onları "uygun fiyatlı" yapan karmaşıklığına sahiptir .O ( n )O(n)O(n) Öte yandan, güvenerek yöntemleri boyutlu ölçekleme bir olması karmaşıklığı.O (n2)O(n2)O(n^2) Karmaşıklığı daha düşük olan başka boyut küçültme …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

Her iki şekilde de gördüğümü biliyorum, bu yüzden ikisi arasında bir fark var ve hangisine daha sık atıfta bulunuluyor?

9 logistic  terminology  logarithm  loss-functions 

Şu anda "Ben Sadece İki Milyon Regresyon Koştum" başlıklı popüler bir makalede kullanılan bir yöntemi uygulamaya çalışıyorum. Bunun arkasındaki temel fikir, hangi kontrollerin modele dahil edilmesi gerektiği açık olmayan bazı durumlar olmasıdır. Böyle bir durumda yapabileceğiniz bir şey, rastgele kontroller çizmek, milyonlarca farklı regresyon çalıştırmak ve sonra ilgi değişkeninizin nasıl …

9 likelihood-ratio 

Bir Binom regresyonuna uyduğumu ve regresyon katsayılarının nokta tahminlerini ve varyans-kovaryans matrisini elde ettiğimi varsayalım. Bu, gelecekteki bir deneyde beklenen başarı oranı için bir CI almamı sağlayacak, , ancak gözlemlenen oran için bir CI'ye ihtiyacım var. Simülasyon (bunu yapmak istemediğimi varsayalım) ve Krishnamoorthya ve arkadaşlarına (sorumu tam olarak cevaplamayan) bir …

9 confidence-interval  binomial  beta-binomial  beta-regression  gamlss 

Şu anda Laplace mekanizmasını kullanarak diferansiyel gizlilik için algoritma yazıyorum. Maalesef istatistiklerde hiçbir arka planım yok, bu nedenle birçok terim bilinmiyor. Şimdi terim üzerinde tökezliyorum: Laplace gürültüsü . Bir veri kümesi farkını özel yapmak için tüm kağıtlar, işlev değerlerine Laplace dağılımına göre Laplace gürültüsü eklemekten bahsetmektedir. k(X)=f(X)+Y(X)k(X)=f(X)+Y(X)k(X) = f(X) + …

9 random-generation  laplace-distribution  differential-privacy 

Çeşitli sonuçları tahmin etmek için çoklu regresyon uyguladıkları bir makalenin sonuçlarını yorumlamaya çalışıyorum. Ancak 's ( olarak tanımlanan standartlaştırılmış katsayılar , burada bağımlı değişken ve bir öngörücüdür) bildirilen rapor edilen eşleşmiyor gibi görünüyor :ββ\betaβx1=Bx1⋅S Dx1S Dyβx1=Bx1⋅SDx1SDy\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}yyyx1x1x_1R,2R2R^2 Rağmen 've s -0,83, -0.29, -0.16, -0.43, 0.25, ve -0.29, …

9 regression  regression-coefficients  multicollinearity  r-squared 

Arka plan: Güçlendirme öğrenme görevimde Sinir Ağı Q-değeri yaklaşımını kullanıyorum. Yaklaşım, bu soruda açıklananla tamamen aynıdır , ancak sorunun kendisi farklıdır. Bu yaklaşımda çıktıların sayısı, gerçekleştirebileceğimiz eylemlerin sayısıdır. Ve basit bir deyişle, algoritma aşağıdaki gibidir: A eylemini yapın, ödülü keşfedin, NN'den tüm olası eylemler için Q değerlerini tahmin etmesini isteyin, …

9 machine-learning  neural-networks  reinforcement-learning  q-learning 

Yanıt değişkeni için genellikle doğrusal bir regresyonun standart hatası verildiğinden, diğer yönde güven aralıklarının nasıl elde edileceğini merak ediyorum - örneğin bir x kesişimi için. Ne olabileceğini görselleştirebiliyorum, ama eminim bunu yapmanın basit bir yolu olmalı. Aşağıda, R'nin bunun nasıl görselleştirileceğine ilişkin bir örneği bulunmaktadır: set.seed(1) x <- 1:10 a …

9 r  regression  confidence-interval  bootstrap 

Sorum, Wikipedia sayfasında verimli kodlama ve sinir ağı öğrenme algoritmaları hakkında özetlenen verimli kodlama hipotezi arasındaki ilişki ile ilgilidir . Etkili kodlama hipotezi ile sinir ağları arasındaki ilişki nedir? Etkili kodlama hipotezinden açıkça ilham alan herhangi bir sinir ağı modeli var mı? Yoksa tüm sinir ağı öğrenme algoritmalarının en azından …

9 neural-networks  information-theory 

Birisi bana neden matris işlemiyle Rağırlıklı en küçük kareler ve manuel çözümden farklı sonuçlar aldığımı söyleyebilir mi? Özellikle, manuel olarak çözmeye çalışıyorum , burada ağırlıklar üzerinde çapraz matris, veri matrisidir, yanıttır vektör. G A x = G bWAx=Wb\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf bWW\mathbf WbirA\mathbf Abb\mathbf b Ben argüman …

9 r  regression  least-squares  weighted-regression  weighted-data 

Kesilmiş bir multinom dağılım örneklemek için bir algoritma gerekir. Yani, x⃗ ∼1Zpx11…pxkkx1!…xk!x→∼1Zp1x1…pkxkx1!…xk!\vec x \sim \frac{1}{Z} \frac{p_1^{x_1} \dots p_k^{x_k}}{x_1!\dots x_k!} nerede ZZZ normalleşme sabiti, x⃗ x→\vec x vardır kkk pozitif bileşenler ve ∑xi=n∑xi=n\sum x_i = n. Ben sadecex⃗ x→\vec{x} aralıkta a⃗ ≤x⃗ ≤b⃗ a→≤x→≤b→\vec a \le \vec x \le \vec b. …

9 algorithms  multinomial  random-generation