İstatistikler ve Büyük Veri

Çok sınıflı bir problem ile çoklu etiket problemi arasındaki fark nedir?

52 classification  clustering  terminology  multi-class  multilabel 

Düzenleme kullanıldığında, genellikle aşağıdaki maliyet işlevindeki gibi maliyet işlevine eklenir. Bu, ekranın küçültülmesinden beri sezgisel bir anlam ifade eder. maliyet fonksiyonu, aynı zamanda hatayı minimize etmek (sol terim) ve katsayıların büyüklüğünü (doğru terim) en aza indirmek (veya en azından iki minimizasyonu dengelemek) anlamına gelir.J(θ)=12(y−θXT)(y−θXT)T+α∥θ∥22J(θ)=12(y−θXT)(y−θXT)T+α‖θ‖22 J(\theta)=\frac 1 2(y-\theta X^T)(y-\theta X^T)^T+\alpha\|\theta\|_2^2 Sorum …

51 regularization 

Makine öğrenirken gördüğüm bazı materyaller, bir sınıflandırma problemine regresyon yoluyla yaklaşmanın kötü bir fikir olduğunu söyledi. Ancak verilere uymak için sürekli bir regresyon yapmak ve ayrık sınıflandırmalar elde etmek için sürekli tahminleri kesmek her zaman mümkün olabilir. Peki neden kötü bir fikir?

51 regression  machine-learning  classification 

Grafik Gramer gibi çeşitli teorik grafik uygulamaları gördüm . Ancak masalarla ilgili hiçbir eşdeğer görmedim. Bu süre zarfında tablo tasarımında gayrı resmi bir uygulama modeli geliştirdim. Ancak, öğrencilere iyi bir referans verebilmek istiyorum. APA Stili Manuel masa tasarımı üzerine birkaç ipucu vardır, ancak yalnızca bir başlangıç noktasıdır. Soru: Sayısal sonuçların …

51 tables 

Normal ve tümör hücrelerini ayırt etmek için kullanılabilecek bir test verisine sahibim. ROC eğrisine göre bu amaç için iyi görünüyor (eğri altındaki alan 0,9): Benim sorularım: Bu test için kesme noktası ve okumaların belirsiz olarak değerlendirileceği yerdeki güven aralığı nasıl belirlenir? Bunu (kullanarak ggplot2) görselleştirmek için en iyi yolu nedir …

51 r  data-visualization  confidence-interval  roc  ggplot2 

Bir parçacık filtresi ve Kalman filtresi , özyinelemeli Bayesian tahmin edicilerdir . Alanımda Kalman filtreleri ile sık karşılaşıyorum, ancak çok nadiren bir parçacık filtresi kullanımını görüyorum. Biri diğerinde ne zaman kullanılır?

51 bayesian  particle-filter  kalman-filter 

1984 tarihli "İstatistik ve Nedensel Çıkarım" adlı makalesinde Paul Holland, istatistikteki en temel sorulardan birini dile getirdi: İstatistiksel bir model nedensellik hakkında ne söyleyebilir? Bu onun sloganına yol açtı: Manipülasyon olmadan neden yok Bu nedensellik düşünen deneyler etrafında kısıtlamaların önemini vurguladı. Andrew Gelman da benzer bir noktaya değindi : “Bir …

51 causality 

Neden ve ne zaman karşılıklı bilgileri "Pearson", "spearman" veya "Kendall's tau" gibi istatistiksel korelasyon ölçümleri üzerinde kullanmalıyız?

51 correlation  mathematical-statistics  mutual-information 

Biliyorum, konu dışı gibi gelebilir ama beni duyun. Yığın Taşması'nda ve burada yayınlara oy veriyoruz, bunların hepsi tablo halinde saklanıyor. Örneğin: gönderen kimliği seçmen kimliği oy türü ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3 2000-1-1 10:00:01 10 5 2 2000-1-1 10:00:01 ... ve bunun gibi. …

51 time-series  hypothesis-testing  data-mining  markov-process  censoring 

Kısa tanım artırılması : Bir grup zayıf öğrenci tek bir güçlü öğrenci yaratabilir mi? Zayıf bir öğrenci, gerçek sınıflandırma ile sadece hafifçe ilişkili olan bir sınıflayıcı olarak tanımlanır (örnekleri rastgele tahmin etmekten daha iyi etiketleyebilir). Rastgele Ormanın Kısa Tanımı : Rastgele Ormanlarda birçok sınıflandırma ağacı bulunur. Bir giriş vektöründen yeni …

51 machine-learning  random-forest  boosting  bagging 

Lütfen bana Bayesian tahmini ve Maksimum olabilirlik tahminindeki farkı açıklayın.

50 bayesian  maximum-likelihood 

RF, doğrusal olmayanlığı kaldırabildiği ancak katsayı sağlayamadığı için, en önemli özellikleri toplamak için rastgele orman kullanmak ve ardından bu özellikleri katsayılarını elde etmek için çoklu doğrusal regresyon modeline bağlamak akıllıca olur mu?

50 regression  machine-learning  feature-selection  random-forest  regression-strategies 

Sahada 1 yıl boyunca 100.000 ürünümüz olup, arızasız bir şeyin (bir ürün) arızalanma olasılığını söylemenin bir yolu olup olmadığını merak ediyordum. Satılan sonraki 10.000 üründen birinin arızalanma olasılığı nedir?

50 probability  survival  binomial 

Aykırı değerlere sahip doğrusal verilerle uğraşıyorum, bunlardan bazıları tahmini regresyon çizgisinden 5 standart sapmadan daha uzak. Bu noktaların etkisini azaltan lineer bir regresyon tekniği arıyorum. Şimdiye dek yaptığım, bütün verileri içeren regresyon çizgisini tahmin etmek, ardından veri noktasını çok büyük kare artıkları ile atmak (ilk% 10'u söyleyin) ve regresyonu bu …

50 regression  linear-model  outliers  robust  fused-lasso 

Son zamanlarda Tableau'yla karşılaştım ve verileri veritabanı ve csv dosyasından görselleştirmeye çalıştım. Kullanıcı iterface, kullanıcının zaman ve uzamsal verileri görselleştirmesini ve anında araziler oluşturmasını sağlar. Bu tür bir araç, verileri kod yazmadan grafiksel olarak gözlemleyebildiği için gerçekten kullanışlıdır. Verileri almak ve görselleştirmek zorunda olduğum birçok veri kaynağı olduğu için, sadece …

50 data-visualization  software  interactive-visualization