İstatistikler ve Büyük Veri

Bir model için hesaplamamda çeşitli değişkenler var ve hepsi istatistiksel olarak anlamlı değil. Bunları çıkarmamalı mıyım? Bu soru olayı tartışıyor, ancak sorumu cevaplamıyor: Bir değişkenin ANCOVA'daki anlamlı olmayan etkisini nasıl yorumlayabilirim? Bu sorunun cevabında önemli olmayan eş değişkenlerin çıkarılmasını öneren hiçbir şey yok, ancak şu anda içeri girmeleri gerektiğine inanmaya …

39 regression  statistical-significance  ancova  model  predictor 

Bu soru biraz basit gelirse özür dilerim. R'da çoklu lineer regresyon modeli için LASSO değişken seçimini kullanmaya çalışıyorum, biri kategorik (15 soruna neden olur?) Olan 15 öngörücüm var. ve ayarlarımı yaptıktan sonra aşağıdaki komutları kullanıyorum:yxxxyyy model = lars(x, y) coef(model) Benim sorunum kullandığım zaman coef(model). Bu, her seferinde bir ekstra …

39 feature-selection  lasso  glmnet  lars 

İşte NY zamanlarında "Apple büyük sayılar yasasıyla karşı karşıya" yazıyor . Apple hisse fiyatı artışını çok sayıdaki yasayı kullanarak açıklamaya çalışıyor. Bu makale hangi istatistiksel (veya matematiksel) hataları yapar?

39 probability  central-limit-theorem  law-of-large-numbers  statistics-in-media 

Bu soru bir açısından @Greg Kar tarafından verilen bir cevap tepki olarak söz ben lojistik regresyon ve SAS ile güç analizi ile ilgili sorulan Proc GLMPOWER. Bir deney tasarlıyorsam ve sonuçları bir faktöriyel lojistik regresyonda analiz edersem, bir güç analizi yapmak için simülasyonu (ve burada ) nasıl kullanabilirim ? İki …

39 r  logistic  generalized-linear-model  simulation  power-analysis 

Grup ortalama farkları için etki büyüklüğü ölçüsü olarak hesaplanan eta kare değerlerine ve kısmi eta kare değerlerine sahip verilerim var. Eta kare ile kısmi eta kare arasındaki fark nedir? İkisi de aynı Cohen'in yönergeleri kullanılarak yorumlanabilir mi (1988, sanırım: 0.01 = küçük, 0.06 = orta, 0.13 = büyük)? Ayrıca, karşılaştırma …

39 anova  statistical-significance  effect-size 

Sadece "Özetle R" kitabını okuyorum. Ve sanki "" nin bulunduğu kısmı atlamış gibiyim. "sample.formula" da olduğu gibi açıklandı. > sample.formula <- as.formula(y~x1+x2) Örnek, diğer dillerde olduğu gibi alan formülüne sahip bir nesne midir? Ve eğer öyleyse, bu nesnenin başka hangi alan / işlevlere sahip olduğunu nasıl öğrenebilirim? (Tip bildirimi) EDIT: …

39 r 

Havayolu uçuşlarıyla ilgili bazı verilerim var (adı verilen bir veri çerçevesinde flights) ve uçuş süresinin önemli ölçüde gecikmeli varış olasılığı (10 veya daha fazla dakika) üzerinde bir etkisi olup olmadığını görmek istiyorum. Uçuş regülatörü olarak uçuş süresi ve her uçuşun yanıt olarak önemli ölçüde geciktirilip geciktirilmeyeceği (bir demet Bernoullis) yanıtı …

39 r  logistic  separation 

En küçük açılı regresyon ve kement çok benzer düzenlileştirme yolları üretme eğilimindedir (bir katsayının sıfırı geçtiği durumlar dışında aynıdır) Her ikisi de neredeyse aynı algoritmalarla verimli bir şekilde sığabilir. Bir yöntemi diğerine tercih etmek için herhangi bir pratik sebep var mı?

39 regression  lasso 

Mode, Class ve R tipi objeler arasındaki farkların ne olduğunu merak ediyordum. Bir R nesnesinin tipi, typeof () fonksiyonu, mode by mode () ve class by class () ile elde edilebilir. Ayrıca özlediğim diğer benzer fonksiyonlar ve kavramlar? Teşekkürler ve saygılar!

39 r 

Nümerik bir bağımlı değişkene bakarak (örneğin, istihbarat testi puanları) iki grup (örneğin, erkekler ve kadınlar) ile bir çalışma yaptığınızı ve grup farklılıkları olmadığı hipotezine sahip olduğunuzu hayal edin. Soru: Grup farklılığı olup olmadığını test etmenin iyi bir yolu nedir? Grup farkı bulunmaması için uygun bir şekilde test etmek için gereken …

39 hypothesis-testing  t-test  equivalence  tost 

Daha önce bir R paketinde bunun gibi bir fonksiyonla karşılaştığımdan eminim, ancak kapsamlı Googling'ten sonra hiçbir yerde bulamıyorum. Düşündüğüm fonksiyon, kendisine verilen bir değişken için grafiksel bir özet üretti, bazı grafiklerle çıktı oluşturdu (histogram ve belki de bir kutu ve bıyık arsası) ve ortalama, SD vb. Bu işlevin R tabanına …

39 r  data-visualization  descriptive-statistics  eda 

Yakın gelecekte R öğrenme planım vardı. Okuma başka bir soru ben Clojure öğrendim. Şimdi ne yapacağımı bilemiyorum. Benim için R'nin büyük bir avantajı, amirlerimden biri de dahil olmak üzere Ekonomideki bazı insanların onu kullanmasıdır (diğeri: R'den uzak dur!). Clojure ' in bir avantajı Lisp tabanlı olmasıdır ve Emacs öğrenmeye başladığımdan …

39 r 

Aklımda, KL örnek dağılımından gerçek dağılıma ayrışma sadece çapraz entropi ve entropi arasındaki farktır. Neden bir çok makine öğrenme modelinde maliyet fonksiyonu olarak çapraz entropiyi kullanıyoruz, ancak t-sne'de Kullback-Leibler farklılığını kullanıyoruz? Öğrenme hızında herhangi bir fark var mı?

39 kullback-leibler  tsne  cross-entropy 

Latent Dirichlet Allocation ve word2vec arasındaki kelimelerin benzerliğini hesaplamak için benzerliğin ne olduğunu anlamaya çalışıyorum . Anladığım kadarıyla, LDA sözcükleri gizli konuların bir olasılık vektörüne eşlerken, word2vec bunları gerçek sayıların bir vektörüne eşler (noktasal karşılıklı bilginin tekil değer ayrışmasıyla ilgili, bkz . O. Levy, Y. Goldberg, "Sinir Kelime Gömme" Örtük …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Benim sorum şu ki, lojistik regresyona uymadan önce tüm değişkenlerin [0,1] arasında aynı ölçeğe sahip olduğundan emin olmak için veri setini standartlaştırmamız gerekiyor. Formül: xi−min(xi)max(xi)−min(xi)xi−min(xi)max(xi)−min(xi)\frac{x_i-\min(x_i)}{\max(x_i)-\min(x_i)} Veri setimin 2 değişkeni var, iki kanal için de aynı şeyi tarif ediyorlar, ama hacim farklı. İki mağazada yapılan müşteri ziyaretlerinin sayısının, burada bir müşterinin …

39 regression  logistic  standardization