AI'lar sorun alanı çok büyük olduğunda nasıl davranmayı öğrenir?

En iyi deney ve örnek yoluyla öğrenirim. Sinir ağlarını öğreniyorum ve (düşündüğüm) oldukça iyi bir sınıflandırma ve regresyon anlayışı ve aynı zamanda denetimli ve denetimsiz öğrenim var, ama anlayamadığım bir şey üzerinde tökezledim;

Karmaşık bir oyun oynamak için yapay zeka eğitmek istersem; RTS gibi bir şey düşünüyorum (ör. Age of Empires, Empire Earth vb.). Bu tür oyunlarda, tipik olarak her biri farklı yeteneklere sahip oyuncu (birimler, binalar) tarafından kontrol edilen birkaç varlık vardır. Yapay zekanın sınıflandırma (örneğin o birimi ve bu eylemi seçmesi) problemi gibi görünmektedir, ancak birim sayısı değişken olduğundan, bir sınıflandırma problemini bu şekilde nasıl ele alırız?

Düşünebildiğim tek şey, farklı aşamalar (biri genel strateji için, biri bu tür bir birimi kontrol etmek için, diğeri bu bina türü için) yapan birden fazla ağdır; ama bu problemi karmaşıklaştırıyorum gibi görünüyor.

Karmaşık oyunları öğrenen makine öğrenimi / sinir ağlarının iyi bir örneği var mı (özellikle RTS değil, Mario daha karmaşık )?

Bu iyi bir soru ve dünyadaki birçok bilim adamı da bunu soruyor. İlk olarak Age of Empires gibi bir oyunun gerçekten büyük bir çözüm alanına sahip olmadığı düşünülüyor, yapabileceğiniz çok şey yok. Mario Bros gibi oyunlarda da aynı şey var. Atari oyunları gibi kolay oyunlarda öğrenme sorunu, Google tarafından edinilen DeepMind (burada kağıt ) adamları tarafından çözüldü . Derin Öğrenme ile Güçlendirici Öğrenme uygulamasını kullandılar.

Sorunuza geri dönüyoruz. Gerçekten büyük bir sorun, bir insanın her gün aldığı kararların miktarını taklit etmektir. Uyanın, kahvaltı yapın, duş alın, evinizden çıkın ... Tüm bu eylemler gerçekten yüksek bir zeka seviyesine ve geliştirmek için birçok eyleme ihtiyaç duyar.

Bu sorun üzerinde çalışan birçok insan var, ben onlardan biriyim. Çözümü bilmiyorum ama size hangi yönden baktığımı söyleyebilirim. Marvin Minsky'nin teorilerini takip ediyorum, o yapay zekanın babalarından biri. Bu kitap, Duygu Makinesi, sorunun çok iyi bir görünümünü anlatıyor. İnsan davranışını taklit eden bir makine yaratmanın yolunun, birleşik kompakt bir yapay zeka teorisi inşa etmek olmadığını ileri sürdü. Aksine, beynimizin aynı anda farklı hedeflere ulaşmak için birbirleri arasında rekabet eden kaynaklar içerdiğini savunuyor. Bunu Düşünme Yolları olarak adlandırdılar .

Harika bir soru. Bu bir karmaşıklık meselesidir ve kullandığınız yaklaşım sorunun ne kadar karmaşık olduğuna bağlı olacaktır. Çözmeye çalıştığımız herhangi bir sorun, onunla ilişkili, konuşma dilinde "etkileşimde bulunan şeylerin sayısı veya dikkate alınması gereken şeyler" olarak tanımlanan bir karmaşıklığa sahip olacaktır. Denetimli ve denetimsiz öğrenmede, dikkate alınması gereken şeylerin sayısını kesin olarak belirleriz.

Örneğin, çoklu doğrusal regresyonda, öğrenme algoritmasına bir modeli takarken kaç özelliğin dikkate alınacağını söyleriz (egzersiz setinizdeki sütun sayısı). Aynı durum gözetimsiz öğrenme için de geçerlidir; belirgin sayıda özelliğe sahip iyi tanımlanmış bir eğitim seti kullanılır (bu durumda etiketsiz).

Karşılaştığınız, sınıflandırma veya gerileme için uygun olmayan bir durumdur, çünkü “dikkate alınacak şeylerin” sayısını kesin olarak belirleyemezsiniz. Dediğiniz gibi, sorun alanınız aşırı büyük. Bunu düşünmenin başka bir yolu, bir model öğrenmek için gerekli olan eğitim seti ile ilgilidir; Eğitim setinin neye benzediğini hayal etmek senin için ne kadar zor? Senin durumunda zor. Kümemin sütunları tam olarak ne içerir?

Bu nedenle, kendi kendine giden arabalar, Atari ve AlphaGo gibi uygulamalar sınıflandırma veya regresyon kullanmaz. Eğitim setinin nasıl görüneceğini bilmek imkansız. Deneyebilirsiniz, ancak modeliniz güçlü tahminlerde bulunamaz (bu durumda hareket eder). Yol koşullarının bir modelini oluşturmak için kaç tane şey düşünmelisiniz?

Bu nedenle üçüncü bir tür makine öğrenimi, takviye öğrenimi vardır. Önceden belirlenmiş bir eğitim seti kullanmak yerine deneme yanılma yöntemini kullanır. Çevresini sürekli dürterek uzun vadede çalışan bir politika öğrenebilir.

Bu nedenle, eğitim setini tanımlama şansına sahip olduğumuz daha küçük problem alanları için, denetimli ve denetimsiz makine öğrenimi kullanıyoruz. Eğitim setini tanımlamanın zor olduğu daha büyük problem alanları için takviye öğrenimini kullanıyoruz. Tabii ki yukarıdaki tüm yaklaşımların ilginç kombinasyonlarını da yapabilirsiniz, ancak yine de karmaşıklığa gelir.