İstatistikler ve Büyük Veri

LLE için algoritmanın arkasındaki temel prensibin üç adımdan oluştuğunu anlıyorum. Her veri noktasının mahallesini k-nn gibi bir metrik ile bulmak. Her komşu için, komşunun veri noktası üzerindeki etkisini gösteren ağırlıkları bulun. Hesaplanan ağırlıklara dayalı olarak verilerin düşük boyutlu gömülmesini oluşturun. Ancak 2. ve 3. adımların matematiksel açıklaması okuduğum tüm ders …

13 machine-learning  model-selection  feature-selection  dimensionality-reduction  nonlinear 

Bireysel çalışma kitabı olan Olasılıksal Grafik Modelleri okuyorum . Yönlendirilmiş bir asiklik grafikteki (DAG) kenarlar nedensel ilişkileri temsil ediyor mu? Bir Bayes ağı kurmak istiyorsam , ancak içindeki okların yönünden emin değilsem ne olur? Bana söyleyecek olan tüm veriler, aralarındaki bağlantı değil gözlemlenen korelasyonlardır. Çok fazla şey istediğimi biliyorum, çünkü …

13 causality  graphical-model  bayesian-network  dag 

Bu bir veri görselleştirme sorusudur - umarım bunu burada sormak sorun olmaz. Aşağıdaki grafik gibi bir zaman serisi için çizgi grafiğin altında dolgu kullanmak ne zaman uygundur? (bir gün boyunca ping sürelerini gösterir) Sanırım, altında dolgu olmayan düz bir çizgi kullanmak daha yaygındır, ancak görsel çeşitlilik için bir dolgu kullanmak …

13 data-visualization 

Belirli kısıtlamalar altında veri kümemdeki eksik değerleri değiştirmek için gösterim kullanmak istiyorum. Örneğin, isnat edilen değişkenin x1diğer iki değişkenimin toplamından daha büyük veya eşit olmasını isterim, diyelim x2ve x3. Ben de istiyorum x3biri tarafından izafi edilecek 0veya >= 14ve istediğim x2biri tarafından izafi edilecek 0veya >= 16. Bu kısıtlamaları SPSS'de …

13 r  spss  missing-data  multiple-imputation 

Sonuçlarımdan, GLM Gamma'nın çoğu varsayımı karşıladığı anlaşılıyor, ancak log dönüştürülmüş LM'ye göre önemli bir gelişme mi? Çoğu literatür Poisson ya da Binom GLM'leri ile uğraştı. RANDOMİZASYONU KULLANARAK GENELLEŞTİRİLMİŞ LİNEER MODEL VARSAYIMLARININ DEĞERLENDİRİLMESİ makalesini çok yararlı buldum , ancak karar vermek için kullanılan gerçek grafiklerden yoksundur. Umarım deneyimi olan biri beni …

13 r  generalized-linear-model  model-selection  gamma-distribution 

Bir alıcı operatör özelliği (ROC) altındaki alanın p değerini hesaplamanın bir yolunu bulmak için mücadele ediyorum. Sürekli bir değişkenim ve bir tanısal test sonucum var. AUROC'un istatistiksel olarak anlamlı olup olmadığını görmek istiyorum. ROC eğrileri ile ilgili birçok paket buldum: pROC, ROCR, caTools, doğrulama, Epi. Ancak belgeleme ve testleri okumak …

13 r  p-value  roc 

Doğrusal ve doğrusal olmayan modellerin özellikleri hakkında bazı açıklamalar okudum, ancak yine de eldeki bir modelin doğrusal mı yoksa doğrusal olmayan bir model mi olduğundan emin değilim. Örneğin, aşağıdaki model doğrusal mı doğrusal mı? yt= β0+ β1B ( L ; θ ) Xt+ εtyt=β0+β1B(L;θ)Xt+εty_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t İle: B ( L …

13 linear-model  nonlinear-regression  nonlinear 

Farklı ders kitapları, Fisher bilgi matrisinin varlığı için farklı koşullardan bahseder. Aşağıda, "Fisher bilgi matrisi" tanımlarının her birinde olmasa da bazılarında görülen bu gibi koşullar aşağıda listelenmiştir. Standart, minimal bir koşul kümesi var mı? Aşağıdaki 5 koşuldan hangisi ile ortadan kaldırılabilir? Koşullardan biri ortadan kaldırılabilirse, neden ilk etapta yer aldığını …

13 fisher-information 

Şu anda Coursera'da Daphne Koller'in PGM kursuna katılıyorum. Bu bağlamda, genellikle bir Bayes Ağı'nı, gözlemlenen verilerin bir parçası olan değişkenlerin bir sebep ve sonuç odaklı grafiği olarak modelliyoruz. Ancak PyMC öğreticileri ve örneklerinde genellikle PGM ile aynı şekilde modellenmediğini veya en azından kafam karıştığını görüyorum. PyMC'de gözlemlenen herhangi bir gerçek …

13 bayesian  inference  bayesian-network  pymc 

Sırt, kement ve elastik ağ ile seçilen modelleri karşılaştırmak istiyorum. Aşağıdaki Şekil 3 yöntemi de kullanarak katsayı yollarını göstermektedir: sırt (Şekil A, alfa = 0), kement (Şekil B; alfa = 1) ve elastik ağ (Şekil C; alfa = 0.5). En uygun çözüm, çapraz doğrulamaya dayalı olarak seçilen seçilen lambda değerine …

13 r  multiple-regression  modeling  regularization 

Rob Hyndman'ın tahmin paketini kullanarak R'de bazı tahminler yapıyorum . Pakete ait kağıt burada bulunabilir . Makalede, otomatik tahmin algoritmalarını açıkladıktan sonra, yazarlar algoritmaları aynı veri kümesine uygularlar. Bununla birlikte, hem üstel bir yumuşatma hem de ARIMA modelini tahmin ettikten sonra, anlamadığım bir açıklama yaparlar (sayfa 17): Bilgi kriterlerinin karşılaştırılabilir …

13 time-series  forecasting  model-selection  aic 

Phi ve Matthews korelasyon katsayıları aynı kavram mıdır? İki ikili değişken için Pearson korelasyon katsayısı ile nasıl ilişkili veya eşdeğerdir? İkili değerlerin 0 ve 1 olduğunu varsayıyorum. Pearson'un iki Bernoulli rasgele değişkeni ve y arasındaki korelasyonu :xxxyyy ρ = E [ ( x - E [ x ] ) ( …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

Yukarıdaki soru her şeyi söylüyor. Temelde sorum tahmin etmeye çalıştığım parametrelerde doğrusal olmayan bir genel uydurma işlevi (rastgele karmaşık olabilir) için, bir uyum başlatmak için ilk değerleri nasıl seçer? Doğrusal olmayan en küçük kareler yapmaya çalışıyorum. Herhangi bir strateji veya yöntem var mı? Bu çalışıldı mı? Referans var mı? Ad …

13 least-squares  nonlinear-regression  starting-values 

Şanssız ve bu forumun şu anda karşılaştığım istatistiksel bir soruna yardımcı olabileceğini umarak bu forumu da içeren birçok çevrimiçi literatüre baktım: Her biri konum 1'den (en iyi) konum 10'a (en kötü) kadar sıralanmış 10 öğe içeren 5 sıralı veri listesi var. Bağlam uğruna, her listedeki 10 madde aynıdır, ancak sıralamalarına …

13 statistical-significance  ranking  valuation 

Ortalamaları eşit büyüklükteki üç grup arasında karşılaştırmak istiyorum (eşit örneklem büyüklüğü küçük, 21). Her grubun araçları normal olarak dağıtılır, ancak varyansları eşit değildir (Levene tarafından test edilir). Bir dönüşüm bu durumda en iyi yol mu? Önce başka bir şey düşünmeli miyim?

13 anova  variance  heteroscedasticity