İstatistikler ve Büyük Veri

Hiyerarşik pekiştirme öğrenme problemleri üzerinde çalışıyorum ve birçok makale bir politikayı öğrenmek için algoritmalar önerirken, hepsi de etki alanındaki eylemlerin hiyerarşisini tanımlayan bir grafik yapısını önceden bildiklerini varsayıyorlar. Örneğin, Dietterich'in Hiyerarşik Takviye Öğrenmesi için MAXQ Yöntemi, basit bir Taksi alanı için bir eylemler ve alt görevler grafiğini tanımlar, ancak bu …

9 machine-learning 

Anonim bir okuyucu aşağıdaki soruyu bloguma gönderdi . Bağlam: Okuyucu bir anketteki ölçekler üzerinde bir faktör analizi yapmak istedi - ancak veriler eşleştirilmiş kocalar ve eşlerden geliyordu. Soru: İkili veriler üzerinde faktör analizi yapılabilir mi? Öyleyse nasıl? Bağımsızlık varsayımı faktör analizi için geçerli midir?

9 factor-analysis  independence 

Aynı sistem hakkında yeni bir başarısızlık oranına dayanarak başarısızlık oranını (deterministik olarak verilir) güncellemem gerekiyor (bu da deterministik bir sistemdir). Poisson süreci için konjugat olarak konjugat öncelikleri ve Gamma dağılımı hakkında okudum. Ayrıca, Gamma dist. ( ) yeni oran (ortalama değer olarak) ancak standart sapma, Varyasyon Katsayısı, 90. persentil değeri, …

9 bayesian 

Örnekleme yoluyla az çok Gauss dağılımının ortalamasını tahmin etmeye çalışıyorum. Ortalaması veya varyansı hakkında önceden bilgim yok. Her numunenin elde edilmesi pahalıdır. Belirli bir düzeyde güven / doğruluk elde etmek için kaç örneğe ihtiyacım olduğunu dinamik olarak nasıl belirlerim? Alternatif olarak, numune almayı ne zaman durdurabileceğimi nasıl bilebilirim? Bulabildiğim soruların …

9 estimation  sample-size 

Rastgele bir yürüyüşün maksimum dağılımıyla ilgileniyorum: burada . periyottan sonraki maksimum düşüş . Tarafından bir kağıt Magdon-İsmail et. ark. bir Brownian hareketinin sürüklenmeyle maksimum çekilmesi için dağılım sağlar. İfade, sadece örtülü olarak tanımlanan bazı terimleri içeren sonsuz bir toplamı içerir. Yakınlaşan bir uygulama yazmakta sorunlar yaşıyorum. CDF'nin alternatif bir ifadesinin …

9 distributions  cdf  finance  random-walk 

Lanetli bir araştırma, Latin karelerinin deneylerin tasarımında oldukça yaygın olarak kullanıldığını ortaya koymaktadır . Doktora sırasında, Latin karelerinin çeşitli teorik özelliklerini inceledim (kombinatorik bakış açısından), ancak deneysel tasarıma özellikle uygun hale getiren Latin kareleri hakkında ne olduğu konusunda derin bir anlayışım yok. Latin karelerinin, istatistikçilerin farklı "yönlerde" değişen iki faktörün …

9 experiment-design 

Otokorelasyon fonksiyonunun sabit olmayan bir zaman serisiyle bir anlamı var mı? Box ve Jenkins modelleme amaçları için otokorelasyon kullanılmadan önce zaman serilerinin genellikle durağan olduğu varsayılır.

9 time-series  autocorrelation  box-jenkins 

SAS, SPSS ve R gibi çeşitli istatistiksel paketler, bir PCA'nın ardından bir tür faktör döndürme gerçekleştirmenizi sağlar. PCA'dan sonra rotasyon neden gereklidir? PCA'nın amacının dikey boyutlar üretmesi göz önüne alındığında, neden bir PCA'dan sonra eğik bir rotasyon uygularsınız?

9 pca  factor-analysis  factor-rotation 

Modellemeye çalıştığım çift zirveye sahip verilerim var ve tepeler arasında bağımsız olarak tedavi edemediğim kadar örtüşme var. Verilerin histogramı şöyle görünebilir: Bunun için iki model oluşturdum: biri iki Poisson dağılımı kullanıyor, diğeri iki negatif binom dağılımı kullanıyor (aşırı dağılım için). Hangi modelin verilere daha doğru uyduğunu söylemenin uygun yolu nedir? …

9 modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio 

Doğrusal regresyon gerçekleştirirken, daha iyi normal dağılım uyumu elde etmek için bağımlı değişken için log-dönüşüm gibi bir dönüşüm yapmak genellikle yararlıdır. Genellikle sonuçların etki büyüklüğünü / gerçek ilgisini daha iyi değerlendirmek için beta'ları regresyondan incelemek de yararlıdır. Bu, örneğin log dönüşümü kullanıldığında, etki boyutlarının log ölçeğinde olacağı ve kullanılan ölçeğin …

9 regression  data-transformation  effect-size 

uygun öngörücülerle çok değişkenli doğrusal regresyonda öngörücülerin seçimi için, tüm alt kümelerini açıkça test etmeden öngörücülerin 'optimal' alt kümesini bulmak için hangi yöntemler mevcuttur ? 'Uygulamalı Hayatta Kalma Analizi'nde Hosmer & Lemeshow, Kuk'un yöntemine atıfta bulunuyor, ancak orijinal kağıdı bulamıyorum. Herkes bu yöntemi veya daha da iyisi, daha modern bir …

9 modeling  regression  multivariable  model-selection  feature-selection 

Permütasyon testleri, orijinal verilerden rasgele çizilen permütasyon örneklerine dayanan önem testleridir. Permütasyon örnekleri, replasman ile çekilen önyükleme numunelerinin aksine, değiştirilmeden çizilir. İşte basit bir permütasyon testinin R'sinde yaptığım bir örnek . (Yorumlarınızı bekliyoruz) Permütasyon testlerinin büyük avantajları vardır. Normallik gibi belirli nüfus şekillerine ihtiyaç duymazlar. Sadece sıfır hipotezi altında basit …

9 confidence-interval  bootstrap  permutation-test 

Önyükleme hakkında birkaç okuma girişimine rağmen, her zaman bir tuğla duvara çarpmış gibi görünüyorum. Acaba kimse bootstrapping teknik olmayan makul bir tanım verebilir verebilir? Bu forumda tam olarak anlayabilmem için yeterli ayrıntı sağlamanın mümkün olmadığını biliyorum, ancak ana hedef ve önyükleme mekanizması ile doğru yönde hafif bir itme çok takdir …

9 nonparametric  bootstrap  intuition 

Eşit davranması gereken iki genetik algoritma uygulamam var. Ancak çözülemeyen teknik kısıtlamalar nedeniyle çıktıları aynı girdi göz önüne alındığında tam olarak aynı değildir. Yine de önemli bir performans farkı olmadığını göstermek istiyorum. Ben farklı ilk rastgele sayı tohumları kullanarak, iki algoritma her biri için aynı yapılandırma ile 20 çalışır var. …

9 hypothesis-testing  genetic-algorithms 

İstatistiksel olarak anlamlı bir şeye sahip olmak (iki örnek arasındaki fark gibi) ile bir sayı grubunun bağımsız mı yoksa bağımlı mı olduğunu belirtme arasındaki fark nedir?

9 statistical-significance  independence