Otomatik kodlayıcılar denetimli öğrenme için kullanılabilir mi?

9

Otomatik kodlayıcılar, bir çıktı katmanı eklemeden denetimli öğrenme için kullanılabilir mi? Sadece eğitim için birleştirilmiş bir giriş-çıkış vektörü ile besleyebilir ve çıkarım yaparken çıkış kısmını giriş kısmından yeniden yapılandırabilir miyiz? Çıktı kısmı çıkarsama sırasında eksik değerler olarak ele alınacak ve bazı empütasyon uygulanacaktır.

neural-networks

— rcpinto
kaynak

Tam olarak anlamıyorum. Giriş-çıkış vektörleri ile eğitirseniz, ağa beslemek için çıkarım yaparken çıkış vektörlerine de ihtiyacınız olacaktır. Bununla ilgili ne yapacaksın?

— Didam I

Hayır, eksik değerler olarak ele alınır ve bir şekilde empoze edilirler. Daha sonra otomatik kodlayıcı onu yeniden yapılandırmaya çalışacaktır (çoklu tekrarlamalar gerekli olabilir). Soru tam olarak bu fikrin fizibilitesi ile ilgilidir. Açıklığa kavuşturmak için düzenleyeceğim.

— rcpinto

2

Bildiğim ve uyguladığım böyle bir makale Ladder Networks kullanarak Yarı Denetimli Öğrenim . Burada modelin açıklamasını alıntılarım:

Yaklaşımımız, yardımcı görevin, modelin her seviyesinde temsili reddetmek olduğu bir Merdiven ağı öneren Valpola'yı (2015) takip ediyor. Model yapısı, kodlayıcıdan kod çözücüye atlama bağlantılarına sahip bir otomatik kodlayıcıdır ve öğrenme görevi, otomatik kodlayıcıların kınanmasıyla aynıdır, ancak yalnızca girişlere değil, her katmana uygulanır. Atlama bağlantıları, modelin üst katmanlarındaki ayrıntıları temsil etmek için basıncı tahliye eder, çünkü atlama bağlantıları yoluyla kod çözücü kodlayıcı tarafından atılan tüm ayrıntıları kurtarabilir.

Mimari hakkında daha fazla açıklama için Yoshua Bengio'nun Merdiven Ağı Mimarisinin Yapısını Yeniden Yapılandırma'ya bakın.

— AlexGuevara
kaynak

1

Sizi doğru anlarsam, bu tür sistemler hakkındaki makaleleri okuduğumu hatırlıyorum, ancak şu anda başlıkları hatırlayamıyorum.

Fikir, karakter tabanlı üretken RNN'leri kullanmak, "datadatadatadata | answer" gibi kodlanmış diziler üzerinde eğitmek ve daha sonra "otherdatadata |" o zaman bir tür beklenen cevap üretmeye devam edecektir.

Ancak, hatırladığım kadarıyla, bu sadece düzgün bir örnekti, çünkü denetlenen bir şey yapmak için verileriniz varsa, geleneksel yöntemlerle daha iyi sonuçlar elde edersiniz.

— Peteris
kaynak