İstatistikler ve Büyük Veri

Günümüz örüntü tanıma sınıfında profesörüm PCA, özvektörler ve özdeğerler hakkında konuştu. Bunun matematiğini anladım. Özdeğerleri vs. bulmam istenirse, bir makine gibi doğru yaparım. Ama anlamadım . Bunun amacını anlamadım. Hissetmedim. Aşağıdaki alıntıya şiddetle inanıyorum: Büyükannene anlatamazsan, gerçekten bir şey anlamıyorsun. -- Albert Einstein Bu kavramları bir meslekten olmayan ya da …

976 pca  intuition  eigenvalues  canonical-question 

İleri beslemeli bir sinir ağında katman sayısını ve her katmandaki düğüm sayısını seçmek için standart ve kabul edilmiş bir yöntem var mı? Yapay sinir ağları oluşturmanın otomatik yollarıyla ilgileniyorum.

540 model-selection  neural-networks 

Wikipedia sayfası olabilirlik ve olasılık ayrı kavramlar olduğunu iddia ediyor. Teknik olmayan bakışta, "olasılık" genellikle "olasılık" ile eşanlamlıdır, ancak istatistiksel kullanımda perspektifte açık bir ayrım vardır: bazı parametre değerleri verilen gözlenen sonuçların olasılığı olan sayı, parametre değeri olarak kabul edilir. gözlenen sonuçları verilen parametre değerleri setinin olasılığı. Birisi bunun ne …

474 probability  likelihood 

Feragatname: Ben istatistikçi değil yazılım mühendisiyim. İstatistik konusundaki bilgilerimin çoğu öz-eğitimden geliyor, bu yüzden burada diğer insanlar için önemsiz görünebilecek kavramları anlamada hala birçok boşluk var. Bu yüzden cevaplar daha az spesifik terimler ve daha fazla açıklama içeriyorsa çok teşekkür ederim. Büyükannenle konuştuğunu hayal et :) Ben kavramaya çalışıyorum doğayı …

438 distributions  beta-distribution  intuition  beta-binomial 

Matlab'daki sinir ağları araç kutusunu kullanırken kafa karıştırıcı buldum. Ham veri setini üç parçaya böldü: Eğitim Seti doğrulama seti Deneme seti Birçok eğitim veya öğrenme algoritmasında, verilerin genellikle 2 bölüme, eğitim setine ve test setine bölündüğünü fark ettim. Benim sorularım: doğrulama seti ve test seti arasındaki fark nedir? Doğrulama, sinir …

431 machine-learning  validation 

Geçen sene Brendan O'Connor’tan “İstatistikler ile Makine Öğrenmesi, savaş!” Başlıklı bir blog yazısı okudum . İki alan arasındaki farklardan bazılarını tartıştı. Andrew Gelman buna olumlu cevap verdi : Simon Blomberg: R'nin servet paketinden: Kışkırtıcı bir şekilde, “makine öğrenmesi, modellerin ve varsayımların kontrol edilmesiyle ilgili bir istatistiktir”. - Brian D. Ripley …

420 machine-learning  pac-learning 

Standart sapma tanımında neden ortalamayı (E) elde etmek ve sonunda karekökü geri almak için ortalamadan farkı kare almak zorundayız ? Aradaki farkın mutlak değerini sadece basitçe alıp , beklenen değerden (ortalama) elde edemez miyiz ve bu, verilerin değişimini de göstermez mi? Sayı, kare yönteminden farklı olacaktır (mutlak değer yöntemi daha …

408 standard-deviation  definition 

K-aracı küme analizinde yaygın olarak kullanılan bir yöntemdir. Anladığım kadarıyla, bu yöntem HERHANGİ BİR varsayım gerektirmez, yani, bana bir veri kümesi ve önceden belirlenmiş sayıda küme verir, k ve ben sadece küme içindeki kare hataların (SSE) en aza indirgenen bu algoritmayı uygularım hata. Yani k-aracı aslında bir optimizasyon problemidir. K-araçlarının …

365 machine-learning  clustering  data-mining  k-means 

Birçok insan, istatistik ihtiyaçları için Excel veya başka bir elektronik tablo, SPSS, Stata veya R gibi bir ana araç kullanır. Çok özel ihtiyaçlar için belirli bir pakete yönelebilirler, ancak basit bir elektronik tablo veya genel istatistik paketi veya istatistik programlama ortamıyla birçok şey yapılabilir. Python'u her zaman bir programlama dili …

355 r  spss  stata  python 

Temel bileşen analizi (PCA) genellikle kovaryans matrisinin bir öz-ayrışmasıyla açıklanır. Bununla birlikte, veri matrisinin tekil değer ayrıştırması (SVD) yoluyla da gerçekleştirilebilir . O nasıl çalışır? Bu iki yaklaşım arasındaki bağlantı nedir? SVD ile PCA arasındaki ilişki nedir?XX\mathbf X Başka bir deyişle, boyutsallık azaltma gerçekleştirmek için veri matrisinin SVD'si nasıl kullanılır?

352 pca  dimensionality-reduction  matrix  svd 

Bu benim favorilerimden biri: Cevap başına bir giriş. (Bu, Stack Overflow sorusunun damarı içerisinde . En sevdiğiniz “programcı” çizgi film hangisidir? ) PS Lütfen sitenin izni olmadan karikatürü bağlantı yapmayın.

343 humor 

İngilizceyi Bayesian’yi Frequentist akıl yürütmeden ayıran özellikleri nasıl açıklarsınız?

339 bayesian  frequentist 

Geçenlerde bir projenin güven aralıklarını tahmin etmek için önyükleme kullandım. İstatistikler hakkında fazla bir şey bilmeyen birileri son zamanlarda benden neden önyüklemenin işe yaradığını açıklamamı istedi , yani, aynı örneği tekrar tekrar örneklemenin neden iyi sonuçlar verdiğini açıklamamı istedi . Nasıl kullanılacağını anlamak için çok zaman harcadığım halde, neden önyüklemenin …

326 bootstrap  communication 

Veri seti olduğunu varsayalım ile noktaları. Doğrusal bir regresyon yapmak istiyoruz, ancak önce X_i değerlerini ve Y_i değerlerini birbirlerinden bağımsız olarak sıralayarak veri kümesini (X_i, Y_j) oluşturacağız . Yeni veri setindeki regresyonun anlamlı bir yorumu var mı? Bunun bir adı var mı?n X i( Xben, Yben)(Xi,Yi)(X_i,Y_i)nnnXbenXiX_i ( X i , …

302 regression  correlation 

Arasındaki fark nedir Logit ve Probit model ? Ne zaman lojistik regresyonun ne zaman kullanılacağını ve ne zaman Probit'in kullanılacağını bilmekle ilgileniyorum. R kullanarak tanımlayan herhangi bir literatür varsa , bu da yardımcı olacaktır.

299 r  generalized-linear-model  logistic  probit  link-function