Büyük veri kümelerinden öğrenirken yaklaşımlar?

Temel olarak, büyük veri kümelerine karşı öğrenmenin iki yaygın yolu vardır (zaman / alan kısıtlamaları ile karşılaştığınızda):

1. Hile :) - eğitim için sadece bir "yönetilebilir" alt kümesini kullanın. Doğruluk kaybı, azalan getiriler yasası nedeniyle ihmal edilebilir - modelin tahmini performansı, tüm eğitim verileri buna dahil edilmeden çok önce düzleşir.
2. Paralel hesaplama - sorunu daha küçük parçalara bölün ve her birini ayrı bir makine / işlemci üzerinde çözün. Yine de algoritmanın paralel bir versiyonuna ihtiyacınız var, ancak iyi haber şu ki, birçok yaygın algoritma doğal olarak paraleldir: en yakın komşu, karar ağaçları vb.

Başka yöntemler var mı? Bunların ne zaman kullanılacağına dair bir kural var mı? Her yaklaşımın dezavantajları nelerdir?

Stream Madencilik bir cevaptır. Ayrıca denir:

• Veri Akışı Madenciliği
• Çevrimiçi öğrenme

• Devasa Çevrimiçi Öğrenme

  Tüm verileri hafızaya koymak ve ondan eğitim almak yerine. Bunların parçalarını belleğe koyarlar ve bu parça akışından gelen sınıflandırıcı / kümeleri eğitirler. Aşağıdaki bağlantılara bakın.

• Vikipedi'den veri akışı .

• MOA: Devasa Çevrimiçi Analiz

  • makale
  • Aracı algoritmaları weka kullanabilmek için Java ile yazılmış,
  • Kitap

• Stanford Üniversitesi'nden Büyük Veri Kümeleri Madenciliği Kitabı . Bir araç olarak MapReduce kullanır.

• Videolectures.net içindeki videolar. Arama o sitede benzer videolar var.

  • Veri Akışı Madenciliğinde Son Teknoloji
  • Madencilik Büyük Veri Kümeleri

Sadece bir altkümeyi kullanmak yerine, mini-toplu öğrenmede olduğu gibi birden çok altkümeyi kullanabilirsiniz (örneğin stokastik gradyanlı iniş). Bu şekilde tüm verilerinizi kullanmaya devam edersiniz.

Torbalama veya karıştırma gibi - hiçbir veri israf edilmez, sorun otomatik olarak önemsiz bir şekilde paralel hale gelir ve önemli doğruluk / sağlamlık kazanımları olabilir.