«large-data» etiketlenmiş sorular

Olumlu verilerim çok eğrilmişse, genellikle günlükleri alırım. Fakat sıfır içeren, eğri, negatif olmayan verilerle ne yapmalıyım? Kullanılan iki dönüşüm gördüm: ile eşleşen düzgün bir özelliğe sahip olan log ( x + 1 ) .kütük( x + 1 )kütük⁡(x+1)\log(x+1) burada c tahmin edilir veya çok küçük bir pozitif değer olarak ayarlanır.kütük( …

191 data-transformation  large-data 

Bir de son makalesinde ait Amstat News bir ilan edecek - yazarlar (Mark van der Laan ve Sherri Gül) Biz yeterince büyük örnek boyutları için, hiçbir etkisi sıfır hipotezi doğrudur gösterdiği her çalışma dahil olanlar olduğunu biliyoruz" belirtti istatistiksel olarak anlamlı etki. " Ben bunu bilemedim. Bu doğru mu? Büyük …

129 hypothesis-testing  sample-size  dataset  large-data 

Birçok istatistiksel iş büyük ölçekli verilerle tecrübe ister. Büyük veri setleriyle çalışmak için ihtiyaç duyacağınız istatistiksel ve hesaplamalı beceriler nelerdir? Örneğin, 10 milyon örnekle veri seti verilen regresyon modellerini oluşturmaya ne dersiniz?

107 regression  machine-learning  multivariate-analysis  large-data 

Umarım bu başlık kendi kendini açıklar niteliktedir. Kaggle'da kazananların çoğu, MSE'nin% birkaçını sıkıştırmak için bazen yüzlerce baz modeliyle istiflemeyi kullanıyor, genel olarak, deneyimlerinizde, istifleme gibi fantezi modellemenin ne kadar önemli olduğu, sadece daha fazla veri toplama ve daha fazla özellik toplama veri için?

56 large-data  stacking  collecting-data  kaggle 

Ya da daha fazla "olacak" mı? Büyük Veri , istatistikleri ve ilgili bilgileri daha da önemli hale getirir ancak Örnekleme Teorisinin altını çizer. Bu yutturmaca 'Büyük Veri' etrafında gördüm ve "neden" her şeyi analiz etmek isteyeyim merak ediyorum yardımcı olamaz ? "Örnekleme Teorisi" nin tasarlanması / uygulanması / icat edilmesi …

54 sampling  data-mining  large-data 

Saklamak için çok büyük bir veri kümesinin ortancasını tahmin etmek için iyi bir algoritma (en az hesaplama, en az depolama gereksinimleri anlamına gelir) arıyorum, öyle ki her bir değer yalnızca bir kez okunabilir (bu değeri açıkça saklayamazsanız). Varsayılabilecek verilerde sınır yoktur. Doğruluğu bilindiği sürece, yaklaşımlar iyidir. Herhangi bir işaretçi var …

47 algorithms  median  large-data 

Birkaç defa soru sorulmuştu: Büyük Veri Nedir? Hem öğrenciler hem de akrabalarım tarafından istatistik ve ML ile ilgili buzz'ları toplayanlar. Bu CV-postasını buldum . Ve oradaki tek cevabı kabul ettiğimi hissediyorum. Vikipedi sayfası da üzerinde bazı yorumlar vardır, ama gerçekten orada her şeye katılıyorum eğer emin değilim. EDIT: (Wikipedia sayfasının …

44 large-data 

Medyada her yerde "Büyük veri" var. Herkes "büyük veri" nin 2012 için büyük bir şey olduğunu söylüyor, örneğin KDNuggets 2012 için sıcak konuları araştırıyor . Ancak, burada derin endişelerim var. Büyük verilerle, herkes bir şey çıkarmaktan mutlu görünüyor . Fakat hipotez testi ve temsili örnekleme gibi tüm klasik istatistiksel ilkeleri …

40 data-mining  dataset  large-data  validation 

Bugün, Çapraz Validated Journal Club'da (neden orada değildin?), @Mbq sordu: Biz (modern veri bilimcileri) öneminin ne anlama geldiğini bildiğimizi düşünüyor musunuz? Ve sonuçlarımıza olan güvenimizle nasıl bir ilgisi var? @Michelle bazılarının (ben dahil) genellikle cevap verdiği gibi: Önemlilik kavramını (p-değerlerine dayanarak) kariyerime devam ettikçe daha az faydalı buluyorum. Örneğin, son …

37 hypothesis-testing  p-value  large-data 

1000'den fazla özelliğe (veya eğriler varsa örnek noktalara) sahip sınıflandırma için serbestçe kullanılabilir veriler nelerdir? Ücretsiz veri setleri hakkında zaten bir topluluk wiki'si var: Serbestçe kullanılabilir veri örneklerini bulma Ancak burada daha rahat kullanılabilecek daha odaklanmış bir listeye sahip olmak güzel olurdu , ayrıca aşağıdaki kuralları öneriyorum: Veri kümesi başına …

35 machine-learning  classification  dataset  large-data 

Scikit-learn'ı polinom regresyonu için kullanmaya çalışıyorum. Okuduğum kadarıyla polinom regresyonu özel bir lineer regresyon vakasıdır. Belki de bir scikit'in genelleştirilmiş doğrusal modellerinden birinin daha yüksek dereceli polinomlara uyması için parametreleştirilebileceğini ümit ediyordum ama bunun için bir seçenek göremiyorum. Poli çekirdekli bir Support Vector Regressor kullanmayı başardım. Bu, verilerimin bir alt …

29 regression  machine-learning  large-data  polynomial  scikit-learn 

Şu anda yaklaşık 20M kayıtları analiz etmeli ve tahmin modelleri oluşturmalıyım. Şimdiye kadar Statistica, SPSS, RapidMiner ve R'yi denedim. Bu Statistica arasında veri madenciliği ile uğraşmak en uygun gibi görünüyor ve RapidMiner kullanıcı arayüzü de çok kullanışlı, ancak Statistica, RapidMiner ve SPSS'in sadece daha küçük veri setleri için uygun olduğu …

27 large-data  software  data-mining 

Son zamanlarda büyük veri kümeleriyle çalışıyorum ve çok sayıda akış yöntemi buldum. Birkaç isim: Düzenli Lider ve Ayna İnişini Takip Etme: Eşdeğerlik Teoremleri ve L1 Düzenlemesi ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Akışlı Öğrenme: Bir Geçişli SVM'ler ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: SVM için Primal Tahmini Alt GrAdient SOlver http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf veya burada: SVM her …

25 machine-learning  references  large-data  online 

İki değişkenim var: Uyuşturucu Adı (DN) ve çoktan çoğa ilişkide olan karşılık gelen Advers Olaylar (AE). 33.556 ilaç ismi ve 9.516 advers olay var. Örneklem büyüklüğü yaklaşık 5.8 milyon gözlemdir. DN ile AE arasındaki ilişkiyi / ilişkiyi incelemek ve anlamak istiyorum. Resimlere bakmak daha iyi olduğundan, bu seti R'de görselleştirmenin …

24 r  categorical-data  data-visualization  large-data  association-measure 

Her gözlemin birkaç bin seyrek ve muhtemelen gereksiz sayısal ve kategorik değişkenlere sahip olduğu, günde milyarlarca gözlem ayarında büyük bir veriyi analiz ettiğinizi varsayalım. Diyelim ki bir regresyon problemi, bir dengesiz ikili sınıflandırma problemi ve bir de “hangi tahmin edicilerin en önemli olduğunu bulma” görevi var. Soruna nasıl yaklaşılacağı konusundaki …

21 r  machine-learning  data-mining  large-data