İstatistikler ve Büyük Veri

Birinci öğenin, en çok ziyaret sayısına sahip benzersiz IP tarafından belirli bir süre içinde bir web sitesine yapılan ziyaretlerin sayısı olduğu sıralı bir vektörüm olduğunu varsayalım, ikinci öğe, ikinci ile benzersiz IP'nin ziyaret sayısıdır. en fazla ziyaret vb. Site başına varyasyonlar olabileceğini anlıyorum, ancak genel olarak bu vektörün şekli için …

14 web  power-law 

Kolmogorov-Smirnov testinin, parametreleri numuneden tahmin edilen bir dağılımın uygunluğunu test etmek için kullanılmaması gerektiğini okudum. Numunemi ikiye bölmek ve parametre tahmininde ilk yarıyı KS testi için ikinci yarıyı kullanmak mantıklı mı? Şimdiden teşekkürler

14 estimation  fitting  kolmogorov-smirnov 

Doğrusal bir regresyon modeli için tahmin aralıklarını hesaplamak için önyüklemenin nasıl kullanılacağını anlamakta sorun yaşıyorum . Birisi adım adım bir prosedürü özetleyebilir mi? Google üzerinden arama yaptım ama hiçbir şey benim için gerçekten anlamlı değil. Model parametreleri için güven aralıklarını hesaplamak için önyüklemenin nasıl kullanılacağını anlıyorum.

14 regression  bootstrap  prediction-interval 

Evrimdeki belirli bir çalışma alanı için bir miktar meta-analiz yapmayı düşünüyorum, ancak daha ileri gitmeden önce bilmek istiyorum; Sürecin olumlu ve olumsuz yanları nelerdir? Örneğin, pratik bir deneye ihtiyaç duyulmaması bir avantajdır (zaman ve para), ancak dezavantaj olabilecek bir yayın yanlılığı (daha heyecan verici sonuçlar yayınlanır) olacaktır. İstatistik dergilerindeki hangi …

14 meta-analysis 

Çapraz bir karma efekt modeli belirlerken, etkileşimleri dahil etmeye çalışıyorum. Ancak, aşağıdaki hata iletisini alıyorum: Error in lme.formula(rate ~ nozzle, random = ~nozzle | operator, data = Flow) : nlminb problem, convergence error code = 1 message = iteration limit reached without convergence (10) Model aşağıdakilere sahiptir: 1. 3 meme …

14 mixed-model  lme4-nlme 

RandomForest'i 6 hayvan davranışını (örneğin Ayakta, Yürüme, Yüzme vb.) 8 değişkene (farklı vücut duruşları ve hareket) göre sınıflandırmak için kullandım. RandomForest paketindeki MDSplot bana bu çıktıyı verir ve sonucu yorumlamada sorun yaşıyorum. Aynı veriler üzerinde bir PCA yaptım ve zaten PC1 ve PC2'deki tüm sınıflar arasında güzel bir ayrım yaptım, …

14 r  classification  random-forest  multidimensional-scaling 

Bu sorunun iyi tanımlanmadığını biliyorum, ancak bazı kümeler eliptik olma eğilimindedir veya diğeri doğrusal olmayan şekillere sahipken (2D veya 3D örneklerde) düşük boyutlu uzayda yatar. Kümelerin doğrusal olmama (veya "şekil") ölçüsü var mı? 2B ve 3B alanda, herhangi bir kümenin şeklini görmek bir sorun değildir, ancak daha yüksek boyutlu alanlarda …

14 unsupervised-learning  clustering 

Lojistik regresyon modeline uyurken sayım verilerini ortak değişken olarak kullanmak istiyorum. Sorum şu: Bağımsız değişkenler olarak sayım, negatif olmayan tamsayı değişkenleri kullanarak lojistik (ve daha genel olarak genelleştirilmiş doğrusal model) varsayımlarını ihlal ediyor muyum? Literatürde sıcak kullanım sayısı verilerinin sonuç olarak olduğu, fakat değişken olarak olmadığı konusunda birçok referans buldum; …

14 generalized-linear-model  count-data 

Aykırı değerleri tespit etmenin basit bir yolu olup olmadığını merak ediyorum. Temel olarak, katılımcıların bir hafta içinde fiziksel aktiviteye katılma sayısı ile bir hafta içinde ev dışında yemek yeme sayısı (fast food) arasında bir korelasyon olan bir projem için, bir dağılım grafiği çizdim ve kelimenin tam anlamıyla aşırı veri noktaları. …

14 correlation  outliers 

Radyal temel işlevi için k ( x , y ) = exp ( - | | x - y | | 2 ) nasıl kanıtlanırsonlu boyutlu özelliği boşluk vardır, Hbazıları için böylecp:R,N→HElimizdekik(x,y)=⟨Φ(x),Φ(y)⟩?k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})HHHΦ:Rn→HΦ:Rn→H\Phi: \text{R}^n \to Hk(x,y)=⟨Φ(x),Φ(y)⟩k(x,y)=⟨Φ(x),Φ(y)⟩k(x, y) = \langle \Phi(x), \Phi(y)\rangle

14 machine-learning  svm  kernel-trick 

Son zamanlarda zaman serilerini yeniden örneklemenin yollarını arıyordum, Uzun bellek işlemlerinin otomatik korelasyonunu yaklaşık olarak koruyun. Gözlemlerin alanını koruyun (örneğin, yeniden örneklenmiş bir tamsayılar dizisi dizisi hala bir tamsayı dizisidir). Gerekirse yalnızca bazı ölçekleri etkileyebilir. uzunluğunda bir zaman dizisi için aşağıdaki permütasyon şemasını buldum 2N2N2^N: Zaman serilerini birbirini izleyen çiftler …

14 time-series  bootstrap  resampling  permutation-test 

Bir metin sınıflandırma problemiyle uğraşmak zorundayım. Bir web tarayıcısı, belirli bir alanın web sayfalarını tarar ve yalnızca bir belirli sınıfa ait olup olmadığını öğrenmek istediğim her web sayfası için. Yani, bu sınıfı Pozitif olarak adlandırırsam , taranan her web sayfası Pozitif sınıfına veya Pozitif Olmayan sınıfına aittir . Pozitif sınıfı …

14 classification  text-mining  naive-bayes  binary-data 

Başka bir yerde bir NN gizli katman aktivasyon fonksiyonu seçim kişinin ihtiyacına dayanmalıdır , yani -1 ila 1 aralığındaki değerlere ihtiyacınız varsa tanh kullanın ve 0 ila 1 aralığı için sigmoid kullanın okudum. Sorum şu ki, kişinin neye ihtiyacı olduğunu nasıl bilebilir ? Giriş katmanının aralığına mı dayanıyor, örneğin, giriş …

14 machine-learning  classification  neural-networks 

Dün yaşadığım genel bir seçim vardı ve televizyon ağı tüm oy pusulaları açılmadan çok önce kazananları aramaya başladı. Tüm hesaplarda ortaya çıktılar ve yaptıkları için gerçekten şaşırmadım. İstatistiklerin kesinlikle geçerli olduğunu biliyorum. Yine de merak ediyorum. varsayarsak: Açtığımız dışına j pusulaları;iiijjj Elimizdeki güncel olarak puanları adayları c 1 , c …

14 elections 

Her biri R'de önem testine tabi tutulacak birkaç bin değer içeren iki örnekten (kontrol ve işlem görmüş) bir grup veri aldım. Teorik olarak, değerler sürekli olmalı, ancak ölçüm yazılımı tarafından yapılan yuvarlama nedeniyle t ve bağları var. Dağılımlar bilinmemektedir ve kontrol ve işlenmiş dağılımların şekilleri farklı olabilir, bu yüzden numuneler …

14 r  nonparametric  kolmogorov-smirnov  ties