İstatistikler ve Büyük Veri

Bir Reuter'ın 25.02.2019 tarihli makalesinde bu mesaj şu anda tüm haberlerde bulunuyor: İnsan yapımı küresel ısınmaya dair kanıtlar 'altın standartlara' isabet ediyor [Bilim adamları], insan faaliyetlerinin Dünya yüzeyindeki ısıyı yükselttiğine duyulan güvenin “beş sigma” seviyesine ulaştığına güvendiğini, istatistiksel bir gösterge anlamına geldiği takdirde, milyonda bir ihtimalinin ortaya çıkması durumunda milyonda …

35 p-value  intuition  application  communication  climate 

Yorumlar: Öncelikle , 1993'te Amerikan İstatistik Kurumu Dergisi’nde Açık Kaynak kodlu yazılımda R’de yayınlanan Chen ve Liu’nun zaman çizelgesi aykırı tespitini uygulayan yeni tsoutliers paketinin yazarına çok teşekkür etmek istiyorum .R,R,R Paket, zaman serisi verilerinde yinelenerek 5 farklı aykırı türü algılar: Ekstra Aykırı (AO) İnovasyon Uzatıcı (IO) Seviye Değişimi (LS) …

35 time-series  forecasting  arima  outliers 

Bir karınca küpün bir köşesine yerleştirilir ve hareket edemez. Bir örümcek karşı köşeden başlar ve küpün kenarları boyunca eşit olasılıkta ile herhangi bir yönde hareket edebilir . Ortalama olarak, örümceğin karıncaya kaç adım atması gerekir?(x,y,z)(x,y,z)(x,y,z)1/31/31/3 (Bu ev ödevi değil, röportaj sorusu idi.)

35 probability  random-walk 

Greer (1983) tarafından yayınlanan "O Seviyesi için Yeni Kapsamlı Matematik" kitabında , şöyle hesaplanan ortalama sapma görüyorum: Tekli değerler ile ortalama arasındaki mutlak farkları toplayın. O zaman ortalamasını alın. Bölüm boyunca ortalama sapma terimi kullanılmaktadır. Ancak son zamanlarda standart sapma terimini kullanan birkaç referans gördüm ve bu onların yaptıkları: Tekli …

35 distributions  standard-deviation  frequency  variability 

8 değişkenli bir lojistik GLM modelim var. R'de ki-kare testi yaptım anova(glm.model,test='Chisq')ve değişkenlerin 2'si testin başında sipariş edildiğinde öngörücü olarak ortaya çıktı, altta sipariş edildiğinde çok fazla değil. Bu summary(glm.model)onların katsayılarının önemsiz olduğunu göstermektedir (yüksek p değeri). Bu durumda değişkenlerin anlamlı olmadığı görülüyor. Hangisinin değişkenlerin anlamlılık testinin daha iyi olduğunu …

35 r  regression  logistic  statistical-significance  generalized-linear-model 

4 kategorik değişken (her biri 4 seviye ile) ve sayısal çıktı arasında çoklu doğrusal regresyon modeli kullanıyorum. Veri setimin 43 gözlemi var. Regresyon bana her eğim katsayısı için testindeki şu -değerlerini verir : . Bu nedenle, 4. belirleyicinin katsayısı güven düzeyindedir.pppttt.15,.67,.27,.02.15,.67,.27,.02.15, .67, .27, .02α=.05α=.05\alpha = .05 Öte yandan, regresyon bana …

35 regression  hypothesis-testing  multiple-comparisons  multiple-regression  t-test 

Radyal temel işlevinin bir çekirdek olduğunu nasıl ispatlayabilirim ? Anladığım kadarıyla, bunu kanıtlamak için aşağıdakilerden birini kanıtlamamız gerekiyor:k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2}) Herhangi bir vektör kümesi için, matrisi = pozitif yarı-sonludur.x1,x2,...,xnx1,x2,...,xnx_1, x_2, ..., x_nK(x1,x2,...,xn)K(x1,x2,...,xn)K(x_1, x_2, ..., x_n)(k(xi,xj))n×n(k(xi,xj))n×n(k(x_i, x_j))_{n \times n} Bir eşleme ΦΦ\Phi , k(x,y)k(x,y)k(x, y) = ⟨ Φ ( x …

35 svm  kernel-trick 

1000'den fazla özelliğe (veya eğriler varsa örnek noktalara) sahip sınıflandırma için serbestçe kullanılabilir veriler nelerdir? Ücretsiz veri setleri hakkında zaten bir topluluk wiki'si var: Serbestçe kullanılabilir veri örneklerini bulma Ancak burada daha rahat kullanılabilecek daha odaklanmış bir listeye sahip olmak güzel olurdu , ayrıca aşağıdaki kuralları öneriyorum: Veri kümesi başına …

35 machine-learning  classification  dataset  large-data 

Boyuna tasarım ile zaman serisi arasındaki farklar nelerdir?

35 time-series  panel-data 

R'de bir çoklu regresyon modeli çalıştırırken, çıkışlardan biri 95,161 serbestlik derecesinde 0.0589'luk bir artık standart hatadır. 95.161 serbestlik derecesinin, örneklemimdeki gözlem sayısı ile modelimdeki değişken sayısı arasındaki farktan kaynaklandığını biliyorum. Artık standart hata nedir?

35 regression  standard-error  residuals 

I adres okuma aynı ölçek parametresi ile Gama rastgele değişkenlerin toplamı başka Gama rastgele değişken olduğunu. Ayrıca Moschopoulos'un genel bir Gamma rasgele değişken setinin toplanması için bir yöntemi tanımlayan makalesini de gördüm . Moschopoulos'un yöntemini uygulamaya çalıştım ancak henüz başarılı olamadım . Genel bir Gamma rasgele değişken kümesinin toplamı nasıl …

35 probability  distributions  gamma-distribution  summations  saddlepoint-approximation 

Diyelim ki nergislerin çeşitli toprak koşullarına nasıl tepki verdiğini inceliyorum. Toprağın pH'ı ve nergis olgunluğunun yüksekliğiyle ilgili veriler topladım. Doğrusal bir ilişki bekliyorum, bu yüzden doğrusal bir regresyon çalıştırmaya devam ediyorum. Ancak, çalışmaya başladığımda, nüfusun aslında her birinin toprak pH'ına çok farklı tepki veren iki çeşit nergis içerdiğini fark etmedim. …

34 regression  linear-model  dataset 

Sınıflar iyi ayrıldığında neden lojistik regresyon kararsız hale geliyor? İyi ayrılan sınıflar ne anlama geliyor? Birisi bir örnekle açıklarsa gerçekten çok memnun olurum.

34 r  regression  logistic  separation 

Burada meslekten olmayan anlamlarda ne anlama geldiği hakkında bazı sorular gördüm, ancak bunlar burada amacım için çok meslekten olmayanlar. AIC puanının ne anlama geldiğini matematiksel olarak anlamaya çalışıyorum. Ancak aynı zamanda, daha önemli noktaları görmememi sağlayacak kesin bir kanıt istemiyorum. Mesela, eğer bu hesapsa, sonsuzluklardan mutlu olurdum ve bu olasılık …

34 self-study  model-selection  aic  entropy  information-theory 

Kök ortalama kare hatası Artık kareler toplamı artık standart hata ortalama kare hatası test hatası Bu terimleri anladığımı düşünmüştüm, ancak istatistiksel problemleri ne kadar fazla yaparsam, kendimi ikinci tahmin ettiğim yerde kendimden dolayı kafam karıştı. Biraz güvence ve somut bir örnek istiyorum Denklemleri çevrimiçi ortamda yeterince kolay bulabilirim, ancak '5 …

34 r  regression  residuals