Alfa Sıfır “daha ​​insan” nasıl?

AlphaZero hakkında muhtemelen saf bir sorum var. Diğer bilgisayarlardan daha "insan" tarzında bir oyun olarak nitelendirildiğini gördüm, ancak ne yaparsa yapsın, yaklaşık 100 ELO puanı kazanıyor. Kasparov ve diğerleri, bir bilgisayarla işbirliği yapan güçlü bir insanın güçlü bir bilgisayarı (belki de yaklaşık 100 ELO?) Yeneceğini iddia etti. Öyleyse bariz bir soru, AlphaZero'nun "centaur" kombinasyonuyla nasıl karşılaştırılacağı?

Sadece birkaç oyuna baktığımda, farkettim ki çoğu bilgisayar kendi mobilitesini en üst düzeye çıkaran geniş açık oyunlar oynuyor, ama AlphaZero rakip mobiliteyi sınırlandırmaktan çok endişeli görünüyor. Bir insan oyuncuda bunu, az ya da çok insan olmayan bir stil meselesi olarak tanımlardım.

Gazetede bulunan 5. sayfada cevabınız:

... AlphaZero, derin sinir ağını kullanarak en umut verici varyasyonlarda çok daha seçici bir maliyetle satılıyor - belki de satrançta daha "insan benzeri" bir yaklaşım ...

"seçici olarak" anahtar kelimedir. Bu ne anlama geliyor? Bu pozisyonu örneğimiz için kullanalım:

https://chess24.com/en/read/news/london-classic-5-caruana-shows-how-it-s-done

Bu, 2017 London Chess Classic'te Caruana tarafından kazanılan son oyundur. Beyaz Piskopos saldırı altında ve onu taşımak zorunda olduğunu biliyorsun. Ama nerede?

Olasılıklar (bir parçayı kaybetmemek):

• BH4
• Be3
• Bd2
• BC1

Caruana ne düşünüyordu?

Bir noktada kaybedeceğimi hissettim, ama gördüğümde, 25.Bc1 Birden bire şansım konusunda biraz daha iyimser olmaya başladım. Durumumun kötü olduğunu fark ettim, ama en azından bir planım vardı ve bu pozisyona güven duymam için tek ihtiyacım olan buydu. Bu b3, c4'ü gördüğümde konum çift kenarlı ve bazı şanslarım var.

Bu insan düşüncesi ve bir "insan hareketi". Caruana , Bh4, Be3 ve Bd2'yi dikkate almamıştı çünkü “kötü görünüyordu”. Sadece ve sadece Bc1 hareketine odaklanıyordu .

İnsanlar çok seçici bir şekilde satranç oynuyorlar , mantıksız hamleleri atıyoruz, çünkü tüm olasılıkları eşit olarak incelemek için zamanımız yok.

• Bh4'ü atıyoruz, çünkü h6 piyonundaki gerilimi serbest bırakıyor.
• Be3'ü atacağız çünkü üçüncü sırada iki beyaz kaleyi engelliyor
• Bd2'yi atarız çünkü Beyaz Kraliçeyi kral tarafına tıkar.

AlphaZero'nun gazetede hak iddia etmeye çalıştığı şey bu. Onlar stockfish daha yavaş olmasına rağmen, yapabiliyor, kendi algoritması iddia seçici daha iyi almak arayışında stockfish daha hamle. Stockfish daha hızlı olsa da, kötü hamlelerde zaman harcıyor. AlphaZero yavaştır, fakat daha kesindir (Caruana'nın yaptığı gibi).

Örneğin, AlphaZero Bc1'de% 80 ve diğer tüm fillerde% 20 harcayabilir. Stockish her hareket için% 25 verebilir (Bh4, Be3, Bd2, Bc1).

Çoğu güçlü motor, yüzeysel bir değerlendirme işlevine sahip olmak pahasına derinden bakmayı vurgular. AlphaZero gazetesinde, Stockish'in saniyede 70 milyon pozisyona baktığını söylüyorlar.

İnsan büyükbabalar, motorlara kıyasla çok az sayıda pozisyona bakıyorlar, ancak belirli bir pozisyonda kimin daha iyi olduğunu daha iyi hissediyorlar.

AlphaZero saniyede sadece 80.000 pozisyona baktı, bu yüzden değerlendirme fonksiyonunda çok daha fazla zaman harcıyor.

Onların "daha fazla insan gibi" anlamına geldiği duygusu, başka bir şey değil.

AlphaZero zaten düzenli bir "centaur" -> benzetme GM gibi motor yardımı ile oynuyor gibi görünüyor.

Bir FM olarak normal bir motora kıyasla AlphaZero oynamaktan daha fazla zevk alırdım.

Bir karşılaştırma Karpov'un mükemmel taktikleriyle oynadığı gibi oynayacaktı. (Oyun 9 AlphaZero, Tal gibi olan 15 milyon parçadan aşağıya).

Bu sadece stil değil, AlphaZero pozisyonları Stockish'ten daha iyi anlama izlenimi veriyor.

AlphaZero ayrıca şu ana kadar ALL satranç motorlarının uğradığı Horizon Effect'ten de muzdarip değil. Zaman ve tekrar, bir pozisyonu Stockfish'ten daha fazla hamle yaparak doğru bir şekilde değerlendirebiliyor.

İşte bir örnek:

AlphaZero kralı 16. merkeze oynuyor. Kxd2! Ortadaki oyunda doğru bir şekilde Black'in bundan faydalanamayacağına karar verir.

Bir parça fedakarlığını 30 doğru olarak değerlendirebilir. Bxg6! Düzenli motorlar bir kaç hamle için kaybolduklarını göremezler.

32. f5 de oldukça hoş.

Oyun 3'teki Kurban Satışı gibi başka örnekler de var.

Alpha-Zero'nun oyununun, önceki bilgisayar satranç programlarından ziyade 'insan' olduğunu söyleyen bir grup kavgası üzerinde atlamak ve Alpha-Zero'nun oyununun tamamen “yabancı” olduğunu söylemek kolay. Alfa-sıfırın oyununun, özellikle insanlığa antropomorfizme olan eğilimi göz önüne alındığında, “daha ​​insan” olduğu açık değildir.

İnsan Aklının Mücadelesi Olarak Satranç

Fakat satrançta bu eğilim doğru mu? Magnus Carlsen, bir keresinde genel olarak 'geleneksel' bilgisayarların insan yaratıcılığından nasıl yoksun olduğunu söyledi:

“Satranç, insan zihinleri arasındaki mücadeleyle ilgili. Heyecan verici kılan şey bu. Bilgisayar satranç mekanik, kuru ve yumuşak. Hareketler çok güçlü, elbette, ama stil yok. Bir satranç bilgisayarına karşı oynamayı denersen , sadece çok yüksek bir kesinlikte kaybedeceksiniz değil, aynı zamanda süreçte sıkılacaksınız.

Magnus Carlsen, geleneksel satranç bilgisayarlarında insan tarzı oyun kanıtı görmedi. Öyleyse, Alpha-Zero'nun son başarısının bu perspektifi geri alıp almadığını ve bizi kendimizi daha fazla hatırlatan bir şeye götürdüğünü inceleyelim.

Eğer 'insan-benzeri' ile kastediyorsanız, 'antropomorfizm anlayışımıza çekici gelebilecek bir davranış sergilemek' anlamına geliyorsa, Alfa-sıfır'ın tarzı daha insani görünüyor mu? Bu öznel miyopi insanları, insan olmayan şeyleri yansıtmayı gerçekten nasıl test ediyoruz? Haydi soralım: algoritması “seçici olarak daha iyi” seçiyor mu, yoksa oyun tarzında “daha ​​insani yaratıcı bir seçim” sergiliyor mu?

Algoritmanın yaratıcıları stockfish aksine bir Alfa-Beta arama algoritmasını kullanan belirtmek Alpha-Zero ağırlıklı parametreler ~ önceki sonuçların elde inşa İçeride ISTV melerin RWMAIWi'nin girdi olarak kabul eden bir Monte-Carlo ağaç arama (MCTS) algoritması kullanır Sayfa 3. Mastering satranç ve Genel Takviye Öğrenme Algoritması ile Kendi Kendine Oynanarak Shogi ).

Bu yüzden algoritma hiç seçenek göstermiyor. Aslında, rastlantısal ama olasılıklı bir Monty-carlo araştırmasıyla meşgul olur, burada mümkün olan olası arama yolları önceki sonuçlara göre daha fazla önyargılıdır. Alpha-zero, oyun tarzını bu şekilde optimize etmeyi seçti mi, yoksa programcılarının seçimi miydi?

Alpha-zero, her zaman göz önünde bulundurulacak mümkün tüm hamlelere sahip midir, yoksa insanlar tarafından antropomorfik olarak yorumlanabilecek deneyimleri taklit edecek şekilde algoritmik olarak önyargılı bazı hareketler var mı?

Başlangıçta, onun için tüm hareketler mevcuttu, bu yüzden 'stili' tamamen rastlantısaldı. Bununla birlikte, araştırması gittikçe artan ve optimal olarak önceki başarı veya başarısızlıkla sınırlandırıldığından, stili aslında programcılarının uğraştığı moda doğru değişiyor. Bu 'daha insan' olsa da mı? Bunu daha yaratıcı olduklarından bazen daha az optimal hamle seçecek olan Magnus Carlesen ile karşılaştırın :

Magnus Carlsen: “Benzersiz bir şey yaratmayı takdir ediyorum”

(Yabancı) Aklın Mücadelesi Olarak Satranç

İnsanlar kendi oyun tarzlarını belirleyen kriterleri seçebilirler (örneğin kendi tarzımda sık sık dürtü ve hata seçtim). Her iki Satrançta Birçokları Alfa-Zero'nun oyun ve gidip kesinlikle olarak yabancı . MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı'nda (CSAIL) yüksek lisans öğrencisi Nick Hynes şunları gözlemliyor:

“Burada gördüğümüz şey, insani önyargılardan ve önyargılardan arınmış bir model: Ne tespit ederse edin, optimal olanı öğrenebilir, bu da aslında aynı düşüncelerimizden daha farklı olabilir. Zaman yolculuğu gibi şeyler yapmasına izin veren kendi matematiğini icat eden yabancı bir medeniyet gibi… ”

Aynı şekilde GM Peter Heine Nielsen da Chess.com’a şunları söyledi :

“Gazeteyi okuduktan sonra, özellikle düşündüğüm oyunları gördükten sonra, her zaman üstün bir türün yeryüzüne inip bize nasıl satranç oynadıklarını göstermesinin nasıl olacağını merak ettim. Şimdi biliyorum.”

Görünüşe göre çoğu Alpha-zero'nun ortaya çıkan oyun tarzına “yabancı oyun” olarak değil, “daha ​​insan” olarak tepki veriyor.

Bu nedenle, yukarıdaki cevaplara 'evet' diyenlere katılmamak için sebep var.

Hayatta kalmak için inanılmaz derecede ilginç bir zaman.

1970'lerden başlayarak satranç bilgisayarları, alfa beta budama kullanan minimax-ağaç tabanlı arama algoritmaları olmuştur. Bu programlar hem bilgisayar hızı hem de paralellikteki gelişmeler ve dalları budamak ve yaprak düğümlerini seçmek için kullanılan sezgisel değerlendirme işlevindeki gelişmelerden dolayı daha da güçlendi. Ancak insanlar uzun zamandır materyalist ve sıkıcı bilgisayar oyunlarının ne olduğunu fark ettiler ve birçok insan (kendim dahil) “insan” sezgisini yazılıma kodlamanın imkansız olduğunu düşündü.

Ama bu oyunları gördünüz mü?

AlphaZero, uzun vadeli pozisyon avantajı için çeşitli materyal fedakarlığı örnekleri de dahil olmak üzere inanılmaz derecede güzel bir oyun sergiliyor. Bu, insan ustalarından en güzel oyunların bazılarını hatırlatıyor, ancak aynı zamanda rakipsiz teknik doğrulukla. Bu, hayatımda bilgisayar tarafından üretilen ve aynı zamanda derin güzellikte bir şey gördüğüm ilk örnek .

Centaur Talebi:

Garry'nin bunu defalarca söylediğini duydum ama bu doğru değil. Ya da en azından, sahnede AlphaZero ile artık doğru olmayacak.

Bunu hayal edin: 5.000 tanesi tamamen taktik (ancak çoğu zaman birbiriyle ilgisi olmayan) ve 5.000'i çoğunlukla konumsal (ama çoğunlukla ilgisiz) olan 10.000 ilgili devam eden bir parça kesesi var. Bir insan nasıl bir hata yapmadan tüm bu varyasyonları ele geçirebilir? AlphaZero şimdi bu son derece yaratıcı hareketlere bakabiliyorsa, bir insan muhtemelen ne yapabilir?

Son sınır:

Brute-hesaplamanın hala derin sinir ağlarını dövdüğü bir yer kalmıştır: bitiş oyunları. Bir masa tabanını yenecek hiçbir sezgi yoktur. Ancak bir tablo tabanı gerektiren sonlar (çünkü bir arama ağacı sadece doğru hareketi hesaplamak için yeterince derin olamaz) oldukça nadirdir. Ve bir masa tabanını AlphaZero'ya takabilirsiniz, ancak bu “kendi kendini yetiştiren” bir motorun saflığını mahveder, değil mi?

İnsanlar, geleneksel bilgisayar satranç programları (fritz, stockfish ve diğerleri) gibi derin arama yapabilme yeteneğinden yoksun olduklarından, 'stratejik ilkeler' veya genel kurallar (merkez kontrol, geliştirme, kral güvenliği) ve çok çeşitli alanlarda uygulanabilir kavramlar ve püf noktaları yaratırlar. fedakarlık, bağlı kancalar, piskopos çifti, özel sonlar gibi farklı şekillerde durumlar; örneğin kralı bir kale ve bir piyonla nasıl köşeye sokacağınız.

Alfa sıfırın bu tür birçok kavramı (algı ve kavramlar) bağımsız olarak yeniden icat ettiğini ve tonlarca yenisini de öğrendiğini düşünüyorum - çünkü bilgisinin insan değerlendirme işlevleri üzerine inşa edilmesi gerekmedi ve her zaman rakibi olduğu varsayılan güçlü minmax araştırması bir deha.

Tabii ki, bu tür prensiplerin kendileri bazı durumlarda çatışır, bu nedenle çeşitli açılış oyunları ve tuzaklar dikkatlice incelenir - örneğin, çok yakında kraliçe geliştirme.

Öte yandan insanlar, bir parçasını kaybettikten sonra (değişim olmadan) kuvvetlerinizi zayıflattığınızdan, tazminat olmadan bir parçayı kaybetmeme konusunda son derece dikkatli olduklarını fark ederler.

Alphazero'nun oyununun, bilgisayar satrançını (ve insan satrançını), slavların küçük materyalleri kaybetme korkusundan kurtardığını ve kitapların ve parça değerlerinin açılmasının gereğinden fazla olduğunu söyledi.

Alphazero oyunları, merkez kontrol, geliştirme, alan, inisiyatif gibi “stratejik ilkeler” gibi şeyleri gösterir, eğer rakibiniz özensizse çok daha önemlidir. Başka bir deyişle, 'fedakarlık' gerçekten fedakarlık değildir, fakat inisiyatif, pozisyon, yönlendirilmiş harekette bir kazanç elde etmek için işlem yapar.

Alphago (sıfır değil) insani değerlendirmeye dayanıyordu, ancak alphazero tüm değerlendirme zincirini 'arama veya simülasyon' olarak sona erdirmek için tek bir uç olarak kurar ve tamamen yeni bir oyun oynama yolu bulur.

Eğer düşünürseniz, Morphy, Fischer, Kasparov gibi geçmişin büyük ustaları, tipik olarak özel durumlardan faydalanarak taş üzerine yazılı değerlendirme ile sınırlandırılmadıkları bu tip bir karşı-sezgisel oyun için alkışlandılar. ortaya çıkar. Alfa sıfırın oyunlarının böyle bir 'vay' faktörü olduğunu düşünüyorum.

Neden sinir ağları. Sembolik gösterimi ve ayrık arama kullanan bilgisayar programları sadece 'bir' düşünme biçimini kullanabilirken, sinir ağları alternatif, çelişkili değerlendirmelerle durumları paralel olarak işler ve daha sonraki katmanlarda daha değerli görünüme geçer.

Oynadığı hareketler anlamında daha fazla insan, insan yaklaşımıyla az çok çakışıyor gibi görünüyor: uzun vadeli avantaj, pozisyon fedakarlığı, parça faaliyeti için oynamak. İnsan satranç bilgisiyle bariz bir yakınsama var ve yüzyıllar boyunca rafine edilmiş stratejik ilkeler var (örneğin, aynı açılışları "keşfetti"). AlphaZero'nun insan yapımı satranç bilgisi ile ekilmemiş olması gerçeği göz önüne alındığında, bu dikkat çekicidir.

Ancak benzerlikler burada sona eriyor. AlphaZero onu bir sonraki seviyeye götürür ve daha iyi yapar ve bir şekilde insanlar asla düşünmedi. AlphaZero makaleyi alıntılamak için "insanüstü" yeteneklere sahiptir: "AlphaZero insanüstü bir oyun seviyesine ulaştı [...]" ( https://arxiv.org/pdf/1712.01815.pdf ). Ayrıca, insanın doğasında var olan zayıflıkları da yoktur: insanları sınırlayan konsantrasyon sorunları, korku, yorgunluk, duygular, sezgi vb. Silikon beyni, gerektiğinde insani özelliklerin ötesinde taktiksel kombinasyonlara izin verir.

Genelde incelikli ve içgörüyle bu soruya cevap veren herkese teşekkür etmek istiyorum. Yanıtlardaki temel fark, bana öyle geliyor ki, insan kelimesinin yorumunda.

AlphaZero, insan satrançını gözetim ve yanlış hesaplamalar anlamında oynamaz, ancak “düşünce” süreci, yüksek bir biçimde, en güçlü oyuncuların ne düşündüğünü düşündüğüme karşılık gelir. Oynamak istediğiniz "aday hamle" nin listesini oldukça hızlı bir şekilde hazırlıyorsunuz ve en güçlü oyuncular için bu liste şaşırtıcı derecede doğru, hatta bir dakika içinde farkedilir derecede mantıklı bir oyun oynuyor. Zamanın geri kalanı, listedeki hareketlerden hangisinin gerçekten işe yaradığını sormaya harcanır? Petrosian, sonunda oynadığı hamlenin ilk düşündüğü şey olduğunda en çok formda hissettiğini söyledi. En çok oynamak istediğimiz hareket taktiksel olarak oynanabilir hale geldiğinde, bunun ne kadar tatmin edici olduğunu hepimiz biliyoruz. AlphaZero algoritmasıyla, AlphaBeta araştırmasından çok daha kolay bir şekilde ilişki kurabilirim.

En ilginç görünen şey, makinenin, kendi kendine oynayarak, gelecek vaat eden adayları nasıl tanıyabildiğidir. Potansiyel gerçek devrim için yatar. Bunun yalnızca hedeflerin açıkça tanımlanabildiği satranç ve git gibi alanlar için mümkün olup olmadığını merak ediyorum. Ama AlphaZero'nun maksatlı oyun sergilediğini görünce çarpıcı buluyorum, ancak Stockfish neler olup bittiğini bilmiyor.

Yapay sinir ağlarını anlama yöntemim, A0'ın asıl avantajı, tahta pozisyonlarının üstün değerlendirilmesi. Bu değerlendirme, hem kısa vadeli taktik bilgisini (bir bakıma incelenen pozisyon sayısının çarpanı olarak hizmet eder) hem de stratejik değerin üstün bir değerlendirmesini içerir.

Bütün tartışmanın kaçırdığını hissettiğim bir şey, A0'ın her şeyden çok iyi bir şekilde satranç, shogi ve go oyunlarını oynayabilmesi. Bu çok daha insan. Dahası, hareket halindeyken en iyi oyunculara derinden yeni fikirler ortaya çıkardı (anladığım kadarıyla). Diğer motorlar göreve özgü, A0 ise aksi görünüyor. Satranç960 oynadığını görmek isterim.

Alpha hakkında 'insan' bir şey olduğunu sanmıyorum. Sadece çok daha güçlü donanım kullandı ve daha yüksek kalitede satranç oynadı. Buldukları iyi açılış hareketleri (örneğin, Bg2 ile fianchetto king tarafına) tamamen simüle edilmiş açılış kitabından kaynaklanmaktadır. Beni etkileyen ve “Satrançın Sırrı” nı formüle ettiğim kavramlar: Alpha'nın en iyi motorlar arasında ilk kez kullandığı http://davidsmerdon.com/?p=1970 , örneğin d4 -e5-f6 Bg6 fedakarlık oyununda bir bütün parçasına yer veren zincir ve her iki motor arasındaki Fransız Savunma oyunlarında görüldüğü gibi merkezi geri yapımcılar. Her iki kavram da büyük derinlikleri aramayı içerir ve muhtemelen burada Alpha, muazzam donanımı tarafından yardım edildi. Aksi halde, oyunuyla ilgili hiçbir insan göremiyorum. Oyunların çoğu kuşkusuz,