Hareket halindeyken yeni bir AI kazanıyor. Benzer bir AI satrançta kazanabilir mi? Kendi kendine antrenman yapabilir mi?

Bu sitede sorulan daha popüler sorulardan biri, tamamen kendi kendine eğitilmiş bir satranç AI olasılığı ile ilgili .

Bugün, ChessBase, yeni bir AI'nin ilk kez, satranç tarzı AI'lara yıllarca direnen oldukça farklı bir oyunun önde gelen bir ustasını yendiğini bildirmek için FIDE Adayları turnuvasını kapsama alanından dikkatini dağıttı . Raporun ilk okuması, yeni go AI'nın satranç AI'larından farklı olduğunu, ancak daha çok genel oyun oynayan (GGP) bir AI olduğunu gösteriyor. ChessBase'in makalesinde GGP terimi kullanılmıyor, ancak go AI'nin basit video oyunlarında kazanabileceği söyleniyor .

Böyle bir kazanma yapay zekasının küçük ayarlamalar ile satrançta kazanamamasının bir nedeni var mı? Eğer öyleyse, böyle bir yapay zeka gösterisi, daha önce sorulan birkaç mükemmel cevabın daha önce tartıştığı saf kendi kendine eğitimi elde etmeyi vaat ediyor mu? Neden ya da neden olmasın?

Soruma gerçekten tam, tam olarak bilgilendirilmiş bir yanıtın henüz mevcut olmadığından şüpheleniyorum, bu nedenle ilgili uzmanlığa dayalı kısmi bir cevap bile takdir edilecektir.

Ek referans için ayrıca bu ilgili soru ve cevaplara bakın.

GÜNCELLEME

Yukarıdaki soru ilk olarak beş gün önce gönderildiğinde ve aşağıdaki iyi cevaplardan bazıları verildiğinde, AI'nin zaferiyle ilgili ilk haberler yeni ortaya çıkmıştı. O zamandan beri ek bilgi ve yorumlar ortaya çıktı.

O zamandan beri özellikle ilginç olan, Jonathan Schaeffer'in sözünü ettiği oldukça okunabilir, beş taraflı yuvarlak masa tartışmasıydı :

İnsan oyunlarından öğrenmek, programın öğrenmesini hızlandırmaya yardımcı olur. AlphaGo, insan oyunlarını kullanmadan kendi başına güçlü bir oyuncu olmayı öğrenebilir. Öğrenme süreci daha uzun sürer.

Yuvarlak masa toplantısının ev sahibine göre Schaeffer "Alberta Üniversitesi'nde bilgisayar bilimi profesörü ve damaları çözen adam"; bu nedenle, muhtemelen yorum yapmaya nitelikli olabilir.

Daha fazla bilgi için, katılımcılarının çoğu normalden daha iyi bilgilendirilmiş gibi görünen başka bir açık tartışmanın kaydı . Tartışma maç sırasında gerçekleşti.

Daha bir güncelleme, bir buçuk yıl sonra: commenter @MarkS. yazıyor:

Bu sadece bir yorum çünkü Go ile ilgili değil, Satranç değil, ama AlphaGo Zero sadece kimin kazandığı (ve son skoru değil) söylendiğinden ve Lee Sedol'u yenen AI'dan daha güçlü ve çok daha verimli olduğu için “saf kendi kendine eğitim” aldı . Daha fazla bilgi için, bkz deepmind.com/blog/alphago-zero-learning-scratch

İyi iyi iyi! DeepMind, Stockish'i yenmek için bir sinir ağı bilgisayarını programladıklarını ve eğittiklerini söyledikleri bir makale yayınladı .

Hareket başına 1 dakikalık düşünme süresi ile AlphaZero bilgisayar vuruşları +25, = 25, -0 beyaz ve + 3, = 47,0- siyah olarak yendi.

Satranç, shogi ve Go oynamak ve silikon rakiplerini ikna edici bir şekilde yenmek için 3 ayrı bilgisayarı "eğitdiler".

Makalede eğitim ve değerlendirme şu şekilde açıklanmaktadır -

Kendi kendine oyun oyunları, bu sinir ağı için en son parametreler kullanılarak, değerlendirme adımını ve en iyi oyuncunun seçimini atlayarak üretilir.

AlphaGo Zero Bayesian optimizasyonu ile aramanın hiper parametresini ayarladı. AlphaZero'da, oyuna özgü ayar yapmadan tüm oyunlar için aynı hiper parametreleri yeniden kullanıyoruz. Tek istisna, araştırmayı sağlamak için önceki politikaya eklenen gürültüdür; bu, o oyun türü için tipik yasal hamle sayısı ile orantılı olarak ölçeklendirilir.

AlphaGo Zero gibi, tahta durumu da sadece her oyun için temel kurallara dayalı olarak uzaysal düzlemlerle kodlanır. İşlemler, yine sadece her oyun için temel kurallara dayanarak, uzamsal düzlemler veya düz bir vektörle kodlanır (bkz. Yöntemler).

AlphaZero algoritmasını satranç, shogi ve Go'ya uyguladık. Aksi belirtilmedikçe, üç oyun için de aynı algoritma ayarları, ağ mimarisi ve hiper parametreler kullanılmıştır. Her oyun için ayrı bir AlphaZero örneği eğittik. Eğitim, rastgele başlatılan parametrelerden başlayarak 700.000 adım (4.096 büyüklüğünde mini partiler), kendi kendine oyun oyunları oluşturmak için 5.000 birinci nesil TPU ve sinir ağlarını eğitmek için 64 ikinci nesil TPU kullanarak devam etti. Eğitim prosedürünün diğer detayları Yöntemlerde verilmektedir.

Şekil 1, EloZero'nun kendi kendine oynama güçlendirme öğrenimi sırasında, eğitim adımlarının bir fonksiyonu olarak Elo ölçeğinde performansını göstermektedir (10). Satrançta, AlphaZero sadece 4 saat sonra (300 bin adım) Stockish'ten daha iyi performans gösterdi; shogi'de, AlphaZero 2 saatten kısa bir süre sonra Elmo'dan daha iyi performans gösterdi (110 bin adım); ve Go'da, AlphaZero 8 saat sonra (165 bin adım) AlphaGo Lee'den (29) daha iyi performans gösterdi.

AlphaZero'nun tamamen eğitimli örneklerini sırasıyla Stockish, Elmo ve satranç, shogi ve Go'daki AlphaGo Zero'nun önceki sürümüne (3 gün boyunca eğitilmiş) karşı, her hareket için bir dakika süren turnuva süresi kontrollerinde 100 oyun maçı oynadık. AlphaZero ve önceki AlphaGo Zero 4 TPU'lu tek bir makine kullandı. Stockish ve Elmo, 64 iş parçacığı ve 1GB karma boyutuyla en güçlü yetenek seviyelerinde oynadı. AlphaZero, tüm rakipleri yenerek yenildi, Stockish'e sıfır oyun ve Elmo'ya sekiz oyun kaybetti (birkaç örnek oyun için Ek Malzemeye bakın) ve AlphaGo Zero'nun önceki sürümünü yenerek (bkz. Tablo 1).

Bilgisayarları , Google tarafından makine öğrenimi görevleri için geliştirilen "TPU" ( Tensör İşlem Birimi ) adı verilen yeni bir çip biçimi kullandı .

Ayrıca Monte Carlo ağaç arama algoritmalarının geleneksel alfa-beta arama algoritmalarından daha iyi ve daha "insan gibi" olduğunu iddia ediyorlar -

Ayrıca AlphaZero'nun MCTS aramasının Stockish ve Elmo tarafından kullanılan son teknoloji alfa-beta arama motorlarına kıyasla göreceli performansını analiz ettik. AlphaZero, satrançta saniyede sadece 80 bin pozisyon ve shogi'de 40 bin pozisyon arar, Stockish için 70 milyon ve Elmo için 35 milyon. AlphaZero, en sinir bozucu varyasyonlara çok daha seçici bir şekilde odaklanmak için derin sinir ağını kullanarak daha az sayıda değerlendirmeyi telafi eder - muhtemelen Shannon'un önerdiği gibi arama için daha “insan benzeri” bir yaklaşım. Şekil 2, 40ms düşünme süresi ile Stockish veya Elmo'ya göre Elo ölçeğinde ölçülen her oyuncunun düşünme süresine göre ölçeklenebilirliğini göstermektedir. AlphaZero'nun MCTS'si düşünme süresiyle Stockish veya Elmo'dan daha etkili bir şekilde ölçeklendi,

İşte oyunlardan bazıları -

oyun

Beyaz: AlphaZero Black: Stoklu

Tamam, yanlış olduğumu itiraf etmeliyim. Bahsetmek gerekirse: Ben uzman görüşü değil, genel obtuseness bilgisine kaynaklandığını iddia ediyorum rağmen kağıt : "Ancak, geleneksel MCTS kullanarak satranç programları, (4, 24) alfa-beta arama programlarından çok daha zayıf idi; alfa iken - Sinir ağlarına dayanan beta programları daha önce daha hızlı, el işi değerlendirme işlevleriyle rekabet edememişti. "

Görünüşe göre, satranç stratejik olarak yeterince derin, sizi hesaplayabilecek birisini strateji dışı bırakabilirsiniz. Bana göre bu büyük bir sürpriz çünkü satranç motorlarındaki gelişmeler ters yöndeydi. (Görünüşe göre AlphaZero'nun Stockish'ten gerçekten daha güçlü olup olmadığı konusunda hala hafif bir uyarı var: Stokhlar için sadece 1 gb ile oynandı ve 64 çekirdek dört TPU için gerçekten bir eşleşme olmayabilir)

Ayrıca, gerçekten, gerçekten heyecan verici bir şey çünkü AlphaZero'nun geleneksel motorlardan çok farklı güçlü yönleri var.

Ayrıca, AlphaGo'nun teknolojik bir atılım olarak önemine olan inancımı çok fazla güncellediğim anlamına da geliyor. Temel olarak, tek bir kurulumla shogi, Go ve satranç parçalamak tamamen şaşırtıcı, AlphaZero tarafından muhtemelen insanüstü bir seviyede oynanabilecek düzinelerce diğer oyundan bahsetmiyoruz.

MCTS'nin alfa-beta aramasına kıyasla (kağıttan) MCTS'nin neden satranç için gerçekten iyi bir fikir olduğuna dair güzel bir açıklama var: "AlphaZero, pozisyonları doğrusaldan ziyade derin bir sinir ağına dayalı doğrusal olmayan fonksiyon yaklaşımı kullanarak değerlendiriyor satranç programlarında kullanılan fonksiyon yaklaşımı Bu çok daha güçlü bir gösterim sağlar, ancak aynı zamanda sahte yaklaşım hataları da oluşturabilir MCTS, bu yaklaşım hatalarının ortalamalarını alır ve bu nedenle büyük bir alt ağacı değerlendirirken iptal etme eğilimindedir. en büyük yaklaşık hataları alt ağacın köküne geçiren açık bir mini-max hesaplar . " (benim tarafımdan vurgu)

İşte gerçek cevabın yerini almış olmasına rağmen, hala geçerli bazı noktalar içeren eski cevabım.

Her şeyden önce Alphago genel bir oyun sistemi değildir. Sadece gitmek ve başka bir şey oynamak için tasarlanmış bir programdır. Bununla birlikte , görüntü tanımada kullanılan ve tıbbi teşhislerde hemen uygulanması olan evrişimli sinir ağları ve daha önce bahsedilen Atari oyunlarında ustalaşmak için kullanılan takviye öğrenimi gibi çok daha geniş uygulanabilirliğe sahip bazı yapı taşlarından inşa edilmiştir . makale.

Ayrıca, şu anki motorlar kendi kendine oynayarak “öğreniyor” : “Gecede, Lefler'in altı bilgisayarı sekiz saatlik bir süre boyunca her biri 14.000'den fazla oyun oynuyor.“ Altı makine 14.000 kez oyun çok oyun ”diyor. oynanan her oyun, veritabanı derinleşiyor ve zenginleşiyor. Bilgisayarların birbirlerine karşı oynamasını izlemekle bile sportif bir ilgi var Lefler'in dikkatlice dönen makinelerinin sonucu, Komodo'nun giderek artan kahramanlığı. "

Sorunuzun büyük kısmına gelmek için:

En azından bir programcının bakış açısından satranç ve go arasında önemli bir fark vardır. Satranç daha taktiksel bir oyundur, oysa gitmek daha stratejik bir oyundur. Bu, satranç hesaplama derinliğinde konumsal değerlendirmeyi gölgede bıraktığı anlamına gelir. Temelde Fritz, Shredder, Junior gibi "eski" motorları ve Fruit, Rybka, Houdini, Stockish, Komodo gibi yeni nesilleri ayıran temel öngörü budur. Çünkü her satırın sonunda pozisyonu değerlendirmek zorundasınız ve çok fazla satır hesaplamak istiyorsunuz ve değerlendirmenin kalitesi arama derinliği kadar önemli değil, satranç motorları yalın ve hızlı değerlendirme fonksiyonlarına sahip.

Diğer taraftan taktik karmaşıklığı bilgisayarlar için bile çok büyük. Sonuç olarak pozisyonları ve hareketleri doğru bir şekilde değerlendirmek çok önemlidir. Alphago'nun oyuna yeni getirdiği şey, evrimsel sinir ağlarına dayanan bu değerlendirme gücüdür .

Sonunda benim açımdan: Satranç değerlendirme işlevleri yalın ve hızlı olsa da, sinir ağlarının milyonlarca, bazen milyarlarca parametresi vardır. Bu bağlamda “öğrenme” parametrelerin değiştirilmesi anlamına geldiğinden, kendi kendine öğrenme programları için çok daha fazla ilerleme vardır.

Yani, evet, bir satranç motoru oluşturmak için Alphago gibi bir kurulum kullanabilirsiniz, ancak bu özellikle iyi olmaz. Değerlendirme işlevini çalıştırmak o kadar zaman alacak ki, gerekli arama derinliklerine (Alphago'nun yaptığı şey) ulaşmak için büyük bir gpus kümesi kullanmanız gerekecektir. Çok iyi bir değerlendirme fonksiyonu yaratabilirsiniz , ancak hız dengelemesi buna değmez.

Sadece bunu yapmaya çalışan spawkfish adlı bir proje var . "Bilgisayarlı Go bilgisayarındaki son gelişmelerin bilgisayar satrancı dünyasına nasıl uygulanabileceğini araştırmak" olan sinir ağı tabanlı bir motordur.

Bu genç bir proje ve motor hala oldukça zayıf. Oynamak ilginç, çünkü konumsal oyunu taktiklerinden daha iyi.

Benzer bir AI satrançta kazanabilir mi? Kendi kendine antrenman yapabilir mi?

Kısa cevap "Hayır!"

Satranç ve go, geometrilerinden ve nasıl kazandığınızdan kaynaklanan göreli basitliği ve göreceli karmaşıklığı bakımından kökten farklıdır. Bunlar, birinde diğerinde yararsız olan bir program yapmak için birleşir.

Satrançta rakibi kontrol ederek kazanırsınız, puanlar sayılmaz. Tabii ki mantıklı bir rakip şah matını teslim etmeden önce istifa eder ancak prensip aynıdır. Oyunun sonunda daha fazla puan alarak kazanırsınız. Eğer bir kral ve kraliçem varsa ve bir kral, kale ve piyonunuz varsa, ancak bir kale inşa ettiyseniz, kraliçe için 9 puanım olması ve kale ve piyonunuz için sadece 6 puanınız olması önemli değildir. Oyun berabere.

Bu satranç ve go arasındaki karmaşıklıkta temel bir fark yaratır. Oyunda sadece puan tutabilirsiniz ve kimin kazandığını bileceksiniz. Satrançta kimin kazandığını bilmenin tek yolu saf hesaplamadır. Bu anlamda satranç gitmekten çok daha karmaşıktır.

Aynı zamanda, iki oyunun geometrisi nedeniyle, satrançta olduğundan daha fazla olasılık olasılığı vardır. Bu anlamda git satrançtan çok daha karmaşıktır.

Bir satranç programı, gücünü belirleyen belirli bir derinliğe kadar olası tüm hareketlerin kaba kuvvet hesaplamasıyla çalışır. Bir go programı bu şekilde çalışamaz ve başlangıç ​​seviyesinden daha gelişmiş bir şey oynamaz.

Go'nun temel amacı rakibinizden daha fazla bölgeyi kontrol etmektir. Bir oyunun sonunda, farkın 1 taş mı yoksa 100 taş mı olduğu her ikisi de kazanır. Her taş yerleştirdiğinizde iki şey yaparsınız. Potansiyel veya gerçek bölgenizi artırırsınız ve rakibinizin topraklarını azaltırsınız.

Bazen, bölgede gerçek bir artış veya azalma olduğunda, hareketin değerini hesaplamak kolaydır, ancak potansiyel olduğunda değerlendirmek çok zordur. Zayıf bir go oyuncusu olarak "gerçek" i "potansiyel" den çok daha iyi anlıyorum ve daha güçlü bir oyuncu, kenarlarda ve köşelerde daha küçük gerçek bölge inşa ederken merkezde çok daha fazla potansiyel bölge inşa ederek beni yenecek. Daha güçlü oyuncu, sezgi yoluyla yargılama ve çok sayıda oyun oynamaktan ve "potansiyel" toprakların nasıl oluşturulacağını tanımaktan faydalanacaktır.

Daha önce bir taş yerleştirdiğimde topraklarımı artırdığını (gerçek veya potansiyel) ve rakibimin azaldığını (aslında aptalca bir hareket ise tam tersini yapacak!) Dedim. Herhangi bir pozisyonda tüm hareketler aynı değildir. Bir pozisyona yerleştirilmiş bir taş, başka bir pozisyona yerleştirilmiş bir taştan çok daha fazla veya çok daha az değerde olabilir.

Tipik olarak bir oyunda, oyuncuların taşlarını birbirine yakın yerleştirdikleri, bölgelerini işaretledikleri ve rakiplerinin sınırlarını belirlediği küçük "kavgalar" olacaktır. Bu arada, tahtanın başka bir yerinde bölge belirlemeye başlama veya her iki oyuncunun zaten taşlarının olduğu başka bir yerde kavgaya geçme olasılıkları var.

Bu durumlarda çok önemli olan, bir kavganın ne zaman durdurulacağını bilmek, çünkü potansiyel kazanımlar azaldı ve ya başka bir kavgaya geçme ya da belki de bakir bölgeye çarpma. Bazen bu zor hesaplamaya bağlıdır, ancak çoğu zaman çok daha belirsizdir ve hesaplamaya tabi değildir. Zayıf bir oyuncu olarak, güçlü bir ödeyenin her seferinde beni ezer.

Bilgisayarın bu durumlarda yaptığı şey, belirli bir hamle için beklenen bir skor oluşturmak için olasılıklı yöntemler kullanmaktır. Bazen gerçek değer biraz daha az, bazen biraz daha fazla olur, ancak uzun yol boyunca daha fazla veya daha az ortaya çıkar. Bir oyunun uzun mesafesinin üzerinde küçük hataların iptal edileceği ve stratejisinin kazanacağı beklentisiyle, beklenen en yüksek değere sahip hareketi seçmeye devam edecek.

Bu, satranç oyuncularına tanıdık gelen bir strateji değildir ve satrançta çalışacak bir strateji değildir. Hisse senedi piyasalarında olanları takip eden herkese tanıdık gelen bir şeydir. Bilgisayarların binlerce küçük bahis yapacağı ya da her saniye piyasaya "nikel ve dime" yapmak ve belki de milisaniye dönemlerinde lehine çok az hareket ettirmek için önerilen bahisleri "yüksek frekanslı ticaret" olarak adlandırılan bir şeye çok benziyor.

Zaten finansal piyasalar, bu tür bir programın bir masa oyunundan çok daha kazançlı bir alanda zaten zafer kazandığını gösteren bu tür algoritmik ticaretin hakimiyetindedir.

(Herkes nasıl AlphaGo için derin teknik tartışma benim bakabilirsiniz istediği mesaja )

Kısa cevap : Hayır

Uzun cevap :

İlk olarak, Google'ın neden AlphaGo'ya alfa beta uygulamadığını anlamamız gerekiyor. Stockish ve Komodo'nun (ve tüm satranç motorlarının) alfa-betaları var, neden AlphaGo olmasın?

Sebep : Go konumunu statik olarak doğru şekilde değerlendirmenin kolay ve ucuz bir yolu yoktur.

Satranç'ta her zaman malzemeleri sayabiliriz, bir konumu statik olarak değerlendirmenin çok etkili bir yoludur. Mükemmel olmasa da, satranç için çok hızlı ve çok iyi bir vekil.

Monte-Carlo ile durum alanını aramak, alfa-beta için daha düşük bir yöntemdir. Google, yapabilirlerse alfa-beta uygulardı, ancak yapamazlardı. Böylece, çok daha yavaş bir şey kullanmaya zorlandılar.

Satranç motoru Monte-Carlo ile daha iyi oynamazdı.

Diğer cevaplara katılmıyorum. Yapay zeka alanında profesyonel olarak çalışan bilgisayar bilimciyim ve satrançta aday usta ve igo'da 3 dan.

Şu anda Deep Mind'in yöntemlerinin satrançta uygulanıp uygulanamayacağı belli değil, ama bunun mümkün olduğunu düşünüyorum.

Şu anda, en iyi satranç oynama programları gitgide daha fazla sezgisel tarama kullanıyor ve AlphaGo mimarisini satranç için kullanmaya çalışıyor, bazı açılardan aynı düşünce tarzında olacaktı.

AlphaGo'nun değiştirilmesi gereken önemli bir mimari özelliği, igo benzeri oyunlara özgü olan ve doğrudan satranç için geçerli olmayan anahtar kareleri (veya ısı haritalarını) tanımlama yöntemidir. AlphaGo mimarisini satrançla ilgili hale getirmek için bu yöntemin bazı analoglarının geliştirilmesi gerekir. Örneğin, anahtar kareler yerine "anahtar parçalar" kavramına sahip olabiliriz.

Bence AlphaGo mimarisinin satrançla ilgili olmadığı iddiası satranç daha taktiksel olduğu için çok iyi bir iddia değil çünkü sonuçta her ikisi de AlphaGo'nun satranca kesinlikle uyarlanabileceği kadar benzer arama ağaçlarına sahip.

Cevap Evet! Google, AlphaZero'nun sadece kurallar hakkındaki bilgileri ve hiçbir insan satranç bilgisi olmadan saf kendi kendine eğitimi kullanarak en iyi satranç programını geçtiği dün bunu kanıtladı. Kabul edilen cevap yanlış. Makaleye link burada: link

AlphaZero'yu çalışırken görmek için http://lczero.org/ adresini takip edin veya http://play.lczero.org/ adresinde oynayın.