Denetimsiz, denetimli ve yarı denetimli öğrenme

Makine öğrenmesi bağlamında, aradaki fark nedir?

denetimsiz öğrenme
denetimli öğrenme ve
yarı denetimli öğrenme?

Ve bakılması gereken temel algoritmik yaklaşımlardan bazıları nelerdir?

— Ben miyim
kaynak

İlk olarak, wiki'den iki satır: "Bilgisayar bilimlerinde yarı denetimli öğrenme, eğitim için hem etiketli hem de etiketlenmemiş verilerden yararlanan bir makine öğrenim teknikleri sınıfıdır - tipik olarak büyük miktarda etiketsiz veri içeren az miktarda etiketli veri. Yarı denetimli öğrenme, denetlenmemiş öğrenme (etiketli bir eğitim verisi olmadan) ve denetimli öğrenme (tamamen etiketli eğitim verisi ile) arasındadır. " Bu yardımcı olur mu?

"Algoritmik yaklaşımlar" ile ilgili aklınızda ne var? Cevabımda bazı uygulama örnekleri verdim, aradığınız şey bu mu?

— Peter Smit

Yanıtlar:

Genel olarak, makine öğrenmesi problemleri sınıflandırma, tahmin veya modelleme için fonksiyon tahminindeki çeşitlilik olarak kabul edilebilir.

Gelen denetlenen öğrenme bir girişi (ile döşenmiştir , , ...,) ve çıkış ( , , ...,) ile genelleştirilebilir şekilde bu davranışı yaklaşır bir işlev bulmakla zorlanmaktadır. Çıktı bir sınıf etiketi (sınıflandırmada) veya gerçek bir sayı (regresyonda) olabilir - bunlar denetimli öğrenmedeki "süpervizyon" dur. $x_1$ $x_2$ $y_1$ $y_2$

Durumunda denetimsiz öğrenme , baz durumda, girişler aldığı , , ..., çevresinden ama hiçbiri hedef çıkışları, ne de ödülleri verilmektedir. Probleme (sınıflandırma veya tahmin etme) ve örneklenen alan hakkındaki temel bilgilerinize dayanarak, çeşitli yöntemler kullanabilirsiniz: yoğunluk tahmini (tahmin için bazı temel PDF tahminleri), k-kümeleme (etiketlenmemiş gerçek değerli verilerin sınıflandırılması), k- modlar kümeleme (etiketlenmemiş kategorik verilerin sınıflandırılması) vb. $x_1$ $x_2$

Yarı denetimli öğrenme , etiketli ve etiketlenmemiş veriler üzerinde fonksiyon kestirimini içerir. Bu yaklaşım etiketli verilerin genellikle üretilmemesi pahalı olduğu için motive edilir. Buradaki zorluk, çoğunlukla, bu şekilde karışık verilerin nasıl ele alınacağına ilişkin teknik soruyu içerir. Yarı denetimli öğrenme yöntemleri hakkında daha fazla ayrıntı için bu Yarı Denetimli Öğrenme Edebiyatı Araştırmasına bakın.

Öğrenme bu çeşit ek olarak, örneğin, diğerleri bulunmaktadır takviye öğrenme üreten eylemleri ile çevresiyle öğrenme yöntemi etkileşime sayede , . . .. bu ödül veya cezalar verir , , ... $a_1$ $a_2$ $r_1$ $r_2$

— John L. Taylor
kaynak

Yanıtınız, denetlenilen öğrenmenin, mümkün olduğunda yarı denetlenen öğrenmeye tercih edildiğini gösterir. Bu doğru mu? Olmazsa, yarı denetimli öğrenme ne zaman daha iyi olabilir?

— naught101

@ naught101 Bunu cevabından nasıl okudun? John'un söylediklerine katılıyorum, ancak söylediklerinizin tam tersini söyleyeceğim, yani yarı denetimli öğrenmenin mümkün olan her yerde denetimli öğrenmeye tercih edildiğini. Diğer bir deyişle, bazı etiketli verileriniz ve bazı etiketlenmemiş verileriniz varsa (genellikle etiketli verilerin miktarından çok daha fazla), tüm verileri kullanabiliyorsanız, yalnızca etiketli verileri kullanabildiğinizden daha iyi yaparsınız. Yarı denetimli öğrenmeyi kullanmanın amacı, denetimli öğrenme veya denetimsiz öğrenme yaparak elde edilen performansı aşmaktır.

— HelloGoodbye

@HelloGoodbye: çünkü yarı denetimli öğrenme için belirtilen tek yarar, bazı durumlarda daha ucuz olması, ancak daha zorlu olmanın getirdiği dezavantajı var. Bana göre, tamamen denetimli öğrenmenin daha temel ve doğru veriler sağlandığı göz önüne alındığında daha kolay ve daha doğru (diğer her şey eşit olmak üzere) olacağını düşünüyorum. Bu yüzden, sadece ikisi arasında seçim yapıldığında, yarı denetimin tercih edilebileceği örnekleri soruyordum. Yorumunuz anlamlıdır, ancak tüm verilerin etiketlendiği ve yarı denetimli olmayı tercih ettiğiniz bir durum var mı?

— naught101

@ naught101 Sanırım tüm veriler etiketlenmişse, normal denetimli öğrenme yerine yarı denetimli öğrenmeyi kullanarak fazla kazanmazsınız. Çok sayıda etiketlenmemiş veriye sahip olduğunuz ve yarı denetimli öğrenim yaptığınız zaman, gelişmiş performansı görmenizin ana nedeni öğrenmeyi aktarmanız ve etiketlenmemiş verilerden de deneyim çekebilmenizdir.

— HelloGoodbye

Bununla birlikte, ağa girdi verilerinin çıktı verilerinden mümkün olduğu kadar iyi bir şekilde yeniden üretilmesi (yani bir tür denetlenmemiş öğrenme olan bir otomatik kodlayıcı uygulanması) ile ağ, verilerin iyi temsillerini öğrenmeye zorlanır. Bu, aynı zamanda yararlı olabileceği bir çeşit düzenlenme olarak da hareket edebilir. Bu nedenle, belki de tüm veriler etiketlense bile normal denetimli öğrenme yerine yarı denetimli öğrenmeyi kullanmanın küçük bir kazancı olabilir. Bu etki ne kadar büyük olsa da bilmiyorum.

— HelloGoodbye

Denetimsiz Öğrenme

Denetimsiz öğrenme, eğitim için etiketli bir veriniz olmadığı zamandır. Bunun örnekleri genellikle kümeleme yöntemleridir.

Denetimli Öğrenme

Bu durumda, eğitim verileriniz etiketli verilerden oluşur. Burada çözdüğünüz sorun genellikle etiketsiz veri noktaları için etiketleri öngörmektir.

Yarı Denetimli Öğrenme

Bu durumda, hem etiketlenmiş veriler hem de etiketlenmemiş veriler kullanılır. Bu, örneğin, bazı katmanların veri yapısını öğrendiği (denetimsiz) ve bir katmanı sınıflandırma yapmak için (denetlenen verilerle eğitilmiş) kullanılan Derin inanç ağlarında kullanılabilir.

— Peter Smit
kaynak

Denetlenen / denetlenmeyenin, düşünmenin en iyi yolu olduğunu sanmıyorum. Temel veri madenciliği için ne yapmaya çalıştığınızı düşünmek daha iyidir. Dört ana görev vardır:

öngörü. Gerçek bir sayı öngörüyorsanız, buna regresyon denir. Bir tam sayı veya sınıfı öngörüyorsanız, buna sınıflandırma denir.
modellemesi. modelleme öngörü ile aynıdır, ancak model insanlar tarafından anlaşılabilir. Yapay sinir ağları ve destek vektör makineleri harika çalışır, ancak anlaşılır modeller üretmezler [1]. karar ağaçları ve klasik doğrusal regresyon, anlaşılması kolay modellerin örnekleridir.
benzerlik. doğal nitelik grupları bulmaya çalışıyorsanız, buna faktör analizi denir. doğal gözlem gruplarını bulmaya çalışıyorsanız, buna kümeleme denir.
birliği. bu korelasyona çok benziyor, ancak muazzam ikili veri setleri için.

[1] Görünüşe göre Goldman Sachs, tahmin için tonlarca büyük sinir ağı yarattı, ama sonra kimse onları anlamadı, bu yüzden sinir ağlarını açıklamaya çalışmak için başka programlar yazmak zorunda kaldılar.

— Neil McGuigan
kaynak

GS hikayesi hakkında daha fazla bilgi verebilir misiniz? (neden doğrudan yorumunuz üzerine yorum yapamıyorum bilmiyorum)

— YA

Nerede okuduğumu tam olarak hatırlayamıyorum, ancak burada AI @ GS hakkında daha fazla bilgi var: hplusmagazine.com/2009/08/06/…

— Neil McGuigan

1,2'nin denetimli bir ortamda öğrenmeyi tanımladığını ve 3,4'ün denetlenmeyen bir ortamda bulunduğunu hissediyorum. Ayrıca: tahmin etmek için benzerlik ararsanız ne olur? Bu model olarak kabul edilir mi?

— Bay Tsjolder,