İstatistikler ve Büyük Veri

Belgeler arasındaki benzerlikleri bulmak için gizli anlamsal indeksleme kullanıyorum ( teşekkürler, JMS! ) Boyut küçültmeden sonra, belgeleri çok iyi çalışan kümeler halinde gruplamak için k-ortalama kümelemeyi denedim. Ama biraz daha ileri gitmek ve belgeleri herhangi bir iki düğüm arasındaki mesafenin benzerlikleriyle ters orantılı olduğu bir düğüm kümesi olarak görselleştirmek istiyorum …

11 data-visualization  clustering  python  multidimensional-scaling 

R'deki gbm paketini kullanarak bazı büyük veri kümeleri ile çalışıyorum. Hem yordayıcı matrisim hem de yanıt vektörüm oldukça seyrek (yani çoğu giriş sıfır). Burada yapıldığı gibi, bu seyreklikten yararlanan bir algoritma kullanarak karar ağaçları oluşturmayı umuyordum ). Bu makalede, benim durumumda olduğu gibi, çoğu öğe birçok olası özellikten sadece birkaçına …

11 r  regression  machine-learning  classification  cart 

Giriş niteliğinde bir ekonomik coğrafya dersi veriyorum. Öğrencilerimin çağdaş dünya ekonomisinde bulunan ülke türlerini daha iyi anlamasına ve veri azaltma tekniklerinin takdir edilmesine yardımcı olmak için, farklı türden ülkelerin tipolojisini oluşturan bir ödev inşa etmek istiyorum (ör. katma değerli mfg uzun ömür beklentisi; yüksek gelirli doğal kaynak ihracatçısı orta yüksek …

11 pca  factor-analysis  dimensionality-reduction 

Tez verilerim için parametrik ANOVA'lardan ve t-testlerinden parametrik olmayan Kruskal-Wallis testlerine ve Mann-Whitney'lere ve sıra dönüşümlü 2 yollu ANOVA'lara ve ikili GzLM'lere kadar geniş bir test dizisi kullandım, poisson ve oransal veri. Şimdi sonuçlarıma yazarken her şeyi raporlamam gerekiyor. Burada zaten oranlı veriler için asimetrik güven aralıklarının nasıl rapor edileceğini …

11 data-visualization  median  error 

Çok doğrusal regresyondaki değişken alt kümeleri için klasik F testi, F = ( SSE ( R ) - SSE ( B ) ) / ( d f R - d f B ) formuna sahiptir. buradaSSE(R), 'büyük'Bmodelinin içinde yuvalanan 'indirgenmiş' model altında kare hataların toplamıdırvedf, iki modelin serbestlik dereceleridir. 'Büyük' …

11 regression  hypothesis-testing  power-analysis  non-central  f-distribution 

"Doğrusal Balistik Akümülatör" modeli (LBA), hızlandırılmış basit karar görevlerinde insan davranışı için oldukça başarılı bir modeldir. Donkin ve arkadaşları (2009, PDF ) bir ana fikri için izin insan davranışsal veriler verilen modelin parametrelerini tahmin ve ben (bazı küçük biçimlendirme değişiklikleri ile) bu kodu kopyalanan ettik kodu sağlar burada . Ancak, …

11 r  stochastic-processes 

Bir Gizli Markov Modelinde geçiş olasılıklarına belirli başlangıç ​​değerleri vermenin faydaları nelerdir? Sonunda sistem onları öğrenecek, o halde rastgele olanlar dışında değer vermenin anlamı nedir? Altta yatan algoritma Baum – Welch gibi bir fark yaratıyor mu? Başlangıçtaki geçiş olasılıklarını çok doğru bir şekilde bilirsem ve asıl amacım, gizli durumdan gözlemlere …

11 machine-learning  expectation-maximization  hidden-markov-model 

Bir sınıflandırıcı, SVM veya rastgele orman veya başka bir sınıflandırıcı eğitmek istiyorum. Veri kümesindeki özelliklerden biri 1000 seviyeli kategorik bir değişkendir. Bu değişkenteki seviye sayısını azaltmanın en iyi yolu nedir? R'de combine.levels(), Hmisc paketinde nadir seviyeleri birleştiren bir fonksiyon var , ancak başka öneriler arıyordum.

11 classification  svm  random-forest  many-categories 

Kapalı . Bu soru görüş temelli . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Bu yayını düzenleyerek gerçekler ve alıntılarla yanıtlanabilmesi için soruyu güncelleyin . 7 ay önce kapalı . Arka fon StatProb.com'u Andrew Gelman'ın Bloguna yaptığı bir yorumdan okudum . Web sitesine göre StatProb: StatProb: İstatistik …

11 probability  references  methodology 

Her hafta gelen toplam çağrı sayısı var ve bunları yaklaşık 3 yıl öncesine dayanan bir grafikte çizdim. Gözle bakıldığında, Noel'de büyük bir düşüş olduğu görülüyor, bu iyileşmemiş gibi görünüyor, taleplerde adım adım bir değişiklik olduğu görülüyor. Bu farkı ölçebilecek yapabileceğim bir test var mı? Şerefe Ben

11 time-series  statistical-significance  change-point 

Tipik bir görüntü işleme istatistiği 14 olan Haralick doku özelliklerinin kullanılmasıdır. Bu özelliklerin 14'ünü merak ediyorum: Bir bitişik harita verildiğinde (iki tamsayı ampirik dağılımını görebiliriz ), şu şekilde tanımlanır: ikinci özdeğerinin kare kökü , burada :PPPi,j&lt;256i,j&lt;256i,j < 256QQQQQQ Qij=∑kP(i,k)P(j,k)[∑xP(x,i)][∑yP(k,y)]Qij=∑kP(i,k)P(j,k)[∑xP(x,i)][∑yP(k,y)]Q_{ij} = \sum_k \frac{ P(i,k) P(j,k)}{ [\sum_x P(x,i)] [\sum_y P(k, y)] } …

11 probability  computational-statistics 

Diyelim ki rastgele bir ormana dayalı bir öngörme sınıflandırma modelim var (R'deki randomForest paketini kullanarak). Son kullanıcıların tahmin oluşturmak için bir öğe belirleyebilmesi ve bir sınıflandırma olasılığı ortaya çıkması için ayarlamak istiyorum. Şimdiye kadar, sorun değil. Ancak, değişken önem grafiği gibi bir şeyin çıktısını alabilmek yararlı olabilir, ancak tahmin edilen …

11 machine-learning  random-forest 

İki rastgele değişken arasındaki kovaryans, birbirleriyle doğrusal olarak ne kadar yakından ilişkili olduklarının bir ölçüsünü tanımlar. Peki ya eklem dağılımı daireselse? Tabii ki dağıtımda bir yapı var. Bu yapı nasıl çıkarılır?

11 covariance-matrix 

Çapraz diyagonal elemanlarının dağılımı yaklaşık olarak normal görünecek şekilde rastgele bir korelasyon matrisi oluşturmak istiyorum. Nasıl yapabilirim? Motivasyon bu. Bir dizi için zaman serisi verileri, korelasyon dağılımı genellikle normale oldukça yakın görünüyor. Genel durumu temsil etmek için birçok "normal" korelasyon matrisi oluşturmak ve bunları risk sayısını hesaplamak için kullanmak istiyorum.nnn …

11 normal-distribution  random-generation  correlation-matrix 

Girişimlerim: Güven aralığı alamadım interaction.plot() ve diğer yandan plotmeans()'gplot' paketinden iki grafik gösterilmez. Ayrıca, plotmeans()varsayılan olarak eksen farklı olduğu için biri diğerinin üzerine iki grafik uygulayamadım . plotCI()'Gplot' paketini kullanarak ve iki grafiği üst üste getirerek biraz başarılı oldum ama yine de eksenin eşleşmesi mükemmel değildi. Güven aralıklı bir etkileşim …

11 r  data-visualization  confidence-interval  interaction