GAN'lar (üretken çekişmeli ağlar) metin için de mümkün mü?

GAN'lar - üretken çekişmeli ağlar - sadece görüntüler için iyi midir, yoksa metin için de kullanılabilir mi?

Mesela, bir özetten anlamlı metinler oluşturmak için bir ağı eğitin.

UPD - GAN mucidi Ian Goodfellow'dan alıntılar.

GAN'lar NLP'ye uygulanmamıştır, çünkü GAN'lar yalnızca gerçek değerli veriler için tanımlanmıştır. ( 2016 ) kaynak

Temelde kusurlu bir fikir değil. Aşağıdakilerden en az birini yapmak mümkün olmalıdır ... (2017) kaynak

Evet, GAN'lar metin için kullanılabilir. Bununla birlikte, GAN'ların nasıl çalıştığı ve metnin normal olarak sinir ağları tarafından nasıl oluşturulduğu kombinasyonunda bir sorun vardır:

• GAN'lar, Jeneratör ve Ayırıcı bileşimi yoluyla degradeleri yayarak çalışır.
• Metin normal olarak belirteç alanı üzerinde son bir softmax katmana sahip olarak üretilir, yani ağın çıktısı normalde her belirteci (yani ayrı bir stokastik birim) oluşturma olasılıklarıdır.

Bu 2 şey kendi başlarına birlikte iyi çalışmaz, çünkü degradeleri ayrık stokastik birimler aracılığıyla yayamazsınız. Bununla başa çıkmak için 2 ana yaklaşım vardır: REINFORCE algoritması ve Gumbel-Softmax yeniden parametrelendirmesi ( Beton dağıtımı olarak da bilinir ). REINFORCE'un yüksek varyansa sahip olduğu bilindiğinden, iyi degrade tahminleri almak için büyük miktarda veriye ihtiyacınız vardır.

Metinsel GAN'lar için REINFORCE örneği olarak SeqGAN makalesine göz atabilirsiniz . Gumbel-Softmax'a bir örnek bu makaleyi kontrol edebilirsiniz .

Tamamen farklı bir başka seçenek, jeneratörün çıkışı olarak ayrı bir stokastik birime sahip olmamaktır (örn. Gömülü alanda belirleyici olarak belirteçler üretmek), böylece aralarında orijinal geri yayılım problemini ortadan kaldırır.

Bu konuda daha spesifik araştırmalar var:

Eğitimli jeneratör, belirli düzeyde gramer ve mantık ile cümleler üretebilir.

Xuerong Xiao, "Üretken Düşmanlık Eğitimi Kullanarak Metin Üretimi"

Bu soru bununla ilgilidir: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

Evet, GAN'lar artık ayrık veriler için de kullanılabilir. Bu sezginin ilk örneği Wasserstein GAN'ları (WGAN) ortaya çıktığında ortaya çıktı. Ian Goodfellow , NIPS 2016 Konferansı'nda bu soruna Takviye Öğrenme yaklaşımını ele aldı. Bu makalede , GAN'daki ayrık verilerle ilgili gelişmeler ele alınmıştır.