Bir paradoks AI'yı öldürebilir mi?


148

In Portal 2 biz AI en bir paradoks düşünerek "öldürülmüş" olabilir görüyoruz.

Portal Paradox Posteri

Bunun, AI'yı bilgisayar bilincini temelde "donduran" sonsuz bir döngüye zorlayarak işe yaradığını düşünüyorum.

Sorular: Bu, bugün sahip olduğumuz AI teknolojisini, onu imha etmekle karıştırıyor mu?
Öyleyse neden? Olmazsa, gelecekte mümkün olabilir mi?


1
Ne yazık ki, paradokslar paradokslar tarafından öldürülemeyen bir yapay zekâ öldürmede oldukça etkili olsa da, bu kümenin dışındaki herhangi bir yapay zeka üzerinde etkisi yoktur. Bu nedenle, pratik haydut-AI savunması için, gerçekten güçlü bir elektromıknatısa güvenerek daha iyi olursunuz.
Ray

Ayrıca bakınız Yalancı! Asimov tarafından ...
heather

Hayır, sadece deneyin / hariç ve bir zaman aşımı kullanın. Şaka. Eh, paradokslar yoktur, sadece zıt yollarla hareket eden kuvvetler vardır. Gelişmiş AI, bunu sadece sabit kurallara uymak yerine stokastik süreçler olarak çalışarak aşabilir. Gerçekten gelişmişlerse, keşif (sömürüye karşı) geçici çözümü tüm seçeneklerin test edilmesini ve yerel optima'nın aşılmasını sağlayacaktır. Eğer gerçekten sabit bir bağ varsa, bu muhtemelen AI yüzünden değil, daha ileriye gitme ihtimalinin ve ortam tarafından verilen bir sınırın bulunmamasından kaynaklanıyor olabilir.
freesoul

Yanıtlar:


125

Bu klasik problem, yapay bir genel zekanın neye yol açabileceğinin temel bir yanlış anlaşıldığını ortaya koyuyor. İlk önce, bu programcının şakasını düşünün:

Programcının karısı artık dayanamadı. Kocasıyla yapılan her tartışma anlambilimsel bir tartışmaya dönüştü, her önemsiz detayı ele geçirdi. Bir gün yumurtalarını almak için markete gönderdi. Kapıdan çıkarken , "Sen oradayken süt topla" dedi .

Ve asla geri dönmedi.

Kelimelerle ilgili sevimli bir oyun, ama çok gerçekçi değil.

AI bir bilgisayar tarafından yürütüldüğü için, bu şakada belirtilen aynı seviyede doğrusal, sarsılmaz bir soyulma sergilemesi gerektiğini varsayıyorsunuz. Ancak AI, mümkün olan her girdiyi hesaba katacak ve reçete sonuçlarını takip edecek kadar if-ifadeler ve while-döngüleri ile kodlanmış, uzun soluklu bir bilgisayar programı değildir.

while (komut tamamlanmadı)
     Çözüm bul()

Bu güçlü AI olmaz.

Herhangi bir yapay genel zekanın klasik tanımında, problem çözme ve uyarlamalı öğrenme sergileyen bir tür biliş biçimini taklit eden bir sistem yaratıyorsunuz (← bu cümleyi not edin). Böyle bir "sonsuz döngüde" sıkışabilecek herhangi bir AI'nın bir öğrenme AI'sı olmadığını söyleyebilirim. Sadece bir buggy çıkarım motoru.

Temel olarak, şu anda erişilemez bir sofistike bir programı, basit bir soruna bir çözüm olup olmadığını tahmin edememekle yükümlü kılıyorsunuz. "O kapalı kapıdan içeri gir" ya da "kendini yerden topla" ya da "kalemi aç" bile diyebilirim ve benzer bir bilmece sunabilirim.

"Söylediğim her şey yanlıştır." - Yalancının Paradoksu


16
@JoshB. Bu cevabın sadece "güçlü yapay zeka" için geçerli olduğunu anlamak önemlidir. Bu durumda, güçlü AI bir çözüm bulmaya, süreçten öğrenmeye ve farklı bir şeyler yapmaya çalışacaktır. Böyle bir sistemi henüz üretmediğimiz için, bu adımların ne anlama geleceğini tanımlamak zor. Zayıf bir AI durumunda, sizi bir ataç haline getirmeye çalışmakla meşgul
Aron,

13
Kararlı olarak kararsız fakat 24x7 kritik sistemlerde yaygın olarak kullanılan bir yöntem, bekçi saati sayacıdır. Temel olarak, sistemin son seferinde 15 saniye içinde "hala hayattayım" işareti vermesi bekleniyor. Doğru şekilde ele alınmayan durumlar nedeniyle sonsuz bir döngüye düşerse, bekçi uygulaması sıfırlanmaz ve zamanlayıcı sistemi yeniden başlatır. Gerçek bir AI daha sonra kendi programlamasını geliştirmek amacıyla meta-analize dayanmasına neden olan koşulları uygular.
nigel222

2
Watchdog zamanlayıcıları olan bir AI'nın olası olmadığını düşünüyorsanız, insanların doğa tarafından benzer bir şeyle donatılabileceğini düşünün. Epileptik bir uyum içine girersek, beyin bir şekilde derin bilinçsizliğe kapatmayı ve ardından “yeniden başlatmayı” başarır. (Genellikle: epileptikler zaman zaman bir uyum sırasında ölürler).
nigel222,

3
Sonunda programcı tooMuchMilkCarried istisnası atmaz mıydı?
Toplayıcı,

1
Diyorum herşey yanlıştır : hoparlör tam bir yalancı ne de doğru sözlü şövalye, ama bir değil , normal ( "Bu kitabın adı nedir?" Raymond Smullian en bakınız) kişi
EBE Isaac

42

Bu popüler meme, “Eski Zekâlı AI” (GOFAI) çağına dayanıyordu, bu zekanın tamamen mantık açısından faydalı bir şekilde tanımlanabileceği inancıydı.

Meme, teorem ispatcısı kullanan AI ayrıştırma komutlarına güveniyor gibi görünüyor, muhtemelen kanıtlanamayan veya tutarsız bir ifadeyi kanıtlamaya çalışarak bir çeşit sonsuz döngüye yöneldiği fikri.

Günümüzde, GOFAI yöntemleri, genellikle bu kadar esnek olmayan bir şekilde karakterize edilmeyen 'çevre ve algı dizileri' ile değiştirilmiştir. Bir robotun bir süre sonra görüşmelerinin faydalı bir işe yarayacağının farkına varması için, bir robotun karmaşık bir metabilişselliğe sahip olması pek gerekmeyecekti.

Rodney Brooks, Spielberg'in AI filminde (5.000 yıl boyunca sabırla bekleyen) robotun davranışından bahsetti ve “Robotlarım bunu yapmaz - sıkılıyorlar” gibi bir şey söylerken buna değdi.

EDIT: Algılar bakımından çalışan bir AI'yi gerçekten öldürmek istiyorsanız, biraz daha fazla çalışmanız gerekir. Bu yazıda ( bu soruda bahsedilmiştir ) böyle bir durumda ölüm / intihar kavramlarının ne anlama gelebileceği tartışılmaktadır.

EDIT2: Douglas Hofstadter böyle 'JOOTSing' ( 'Sisteminin Atlama Out') ve 'anti-Sphexishness', bir loopy otomata benzeri davranışlara atıfta ikincisi gibi terimler kullanarak, bu konuda etrafında oldukça yaygın yazmıştır Sphex Wasp ( Ancak bu davranış gerçeği de sorgulandı ).


İlginç, cevabınız için teşekkürler :) Bahsettiğiniz 'çevre ve algı sekansları' hakkında daha fazla şey öğrenmek için herhangi bir kaynak var mı?
Josh B.

Bu 'ajan bazlı' bakış açısı günümüzde oldukça standart. Russell ve Norvig’in “AI - Modern Bir Yaklaşım” ı şiddetle tavsiye ediyorum.
NietzscheanAI

GOFAI'dan doğan modern mantıksal yaklaşımların da bu tuzağa düşmeyeceğini unutmayın, örneğin monotonik olmayan mantığa bakın . Muhtemel yöntemler, ilk gen modellerinin bazı önemli sorunlarının üstesinden gelen tek yöntem değildir.
gaborous 15

Spock bile son zamanlarda saf mantığı reddetti. Re: Hofstadter, Mu bulmacanın da görülmeye değer: en.wikipedia.org/wiki/MU_puzzle
DukeZhou

22

Birkaç iyi cevap görüyorum, ancak çoğu çıkarımsal sonsuz döngünün geçmişte kaldığını, sadece mantıksal AI (ünlü GOFAI) ile ilgili olduğunu varsayıyor. Ama değil.

Herhangi bir programda, uyarlanabilir olsun olmasın, sonsuz bir döngü oluşabilir. @SQLServerSteve'nin belirttiği gibi, insanlar da takıntılara ve paradokslara sıkışıp kalabilirler.

Modern yaklaşımlar temel olarak olasılıklı yaklaşımlar kullanıyor. Yüzen sayıları kullandıkları için, insanlara muhakeme başarısızlıklarına karşı savunmasız olmadıkları (çoğu ikili biçimde tasarlandığı için) gibi görünüyor, ancak bu yanlış: mantıklı olduğunuz sürece, her zaman neden olduğu bazı tuzaklar ortaya çıkabilir Muhakeme sisteminizin mekanizmaları ile. Tabii ki, olasılıklı yaklaşımlar monotonik mantık yaklaşımlarından daha az savunmasızdır, ancak yine de savunmasızdır. Herhangi bir paradoks içermeyen tek bir akıl yürütme sistemi olsaydı, şimdiye kadar pek çok felsefe ortadan kalkacaktı.

Örneğin, Bayesian grafiklerinin asiklik olması gerektiği iyi bilinmektedir, çünkü bir döngü yayılım algoritmasını korkunç derecede başarısız hale getirecektir. Bu durumlarda hala işe yarayabilen Loopy İnanç Yayılımı gibi çıkarım algoritmaları vardır, ancak sonuç hiç garanti edilmez ve size çok garip sonuçlar verebilir.

Öte yandan, modern mantıksal AI monotonik olmayan mantık gibi yeni mantıksal paradigmalar geliştirerek göreceğiniz en yaygın mantıksal paradoksları aşar . Aslında, ikilemleri kendi başlarına çözebilecek özerk ajanlar olan etik makineleri araştırmak için bile kullanılıyorlar . Elbette bazı paradokslardan da muzdaripler, ancak bu yozlaşmış durumlar çok daha karmaşık.

Son nokta, çıkarılan sonsuz döngünün, kullanılan teknoloji ne olursa olsun herhangi bir muhakemede gerçekleşebileceğidir. Ancak, bu sonsuz döngüleri tetikleyebilecek "paradokslar" veya daha doğrusu teknik olarak adlandırılan yozlaşmış durumlar, teknolojiye ve uygulamaya (ve uyarlanabilirse makinenin öğrendiği şeylere) bağlı olarak her sistem için farklı olacaktır.

OP'nin örneği yalnızca teklif mantığı gibi eski mantıksal sistemler üzerinde çalışabilir. Ancak bunu bir Bayesian ağına sorun, ayrıca çıkarımsal bir sonsuz döngü elde edersiniz:

- There are two kinds of ice creams: vanilla or chocolate.
- There's more chances (0.7) I take vanilla ice cream if you take chocolate.
- There's more chances (0.7) you take vanilla ice cream if I take chocolate.
- What is the probability that you (the machine) take a vanilla ice cream?

Cevap alabilmek için evrenin sonuna kadar bekle ...

Feragatname: Etik makinalar ve ikilemler hakkında bir yazı yazdım (bunlar birbirine yakın fakat tam olarak paradokslarla aynı değil: ikilemler hiçbir çözümün diğerlerinden daha nesnel olarak daha iyi olmadığı ancak yine de seçebileceğiniz, problemlerin çözülmesi imkansız olan sorunlardır) kullandığınız çıkarım sistemi için).

/ EDIT: Çıkarımsal sonsuz döngü nasıl düzeltilir?

İşte işe yaramayacak kesin olmayan bazı önerme önerileri!

  • Birden fazla akıl yürütme sistemini farklı tuzaklar ile birleştirin, böylece bir başarısız olursa diğerini kullanabilirsiniz. Hiçbir mantık sistemi mükemmel değildir, ancak mantık yürütme sistemlerinin bir kombinasyonu yeterince esnek olabilir. Aslında insan beyninin birden fazla çıkarımsal teknik kullandığı düşünülmektedir (ilişkisel + kesin bayes / mantıksal çıkarım). İlişkisel yöntemler YÜKSEK dirençlidir, ancak bazı durumlarda duyusal olmayan sonuçlar verebilir, bu yüzden neden daha kesin bir çıkarıma gerek duyulur.
  • Paralel programlama: insan beyni oldukça paraleldir, yani hiçbir zaman tek bir işe gerçekten giremezsiniz, gerçek paralellikte her zaman çok sayıda arka plan hesaplaması vardır. Paradokslara dayanıklı bir makine, akıl yürütme birine takılsa bile, diğer görevlere devam edebilmelidir. Örneğin, sağlam bir makine her zaman hayatta kalmalı ve yakın tehlikelerle yüzleşmelidir; oysa zayıf bir makine muhakeme içinde sıkışıp kalır ve başka bir şey yapmayı unutamaz. Bu bir zaman aşımından farklıdır, çünkü sıkışan görev durmaz, sadece diğer görevlerin yönlendirilmesini ve yerine getirilmesini engellemez.

Eğer, çıkarımsal döngü bu sorun hala AI araştırmalarında bir konu görebileceğiniz gibi, muhtemelen mükemmel bir çözüm asla olmayacağı ( hiç boş öğle , hiçbir Gümüş mermi , hiç kimse beden herkese uyar ), ancak ilerleyen var ve bu çok heyecan verici !


2
"Uyarlanabilir olsun olmasın, herhangi bir programda sonsuz bir döngü olabilir." Bu öyle değil: tüm ilkel özyinelemeli işlevler durdu.
NietzscheanAI

@NietzscheanAI Bir programın herhangi bir uygulaması yerine herhangi bir programın uygulanması anlamına gelmiyordu. Elbette, bazı programların durması garantili olacak şekilde yapabilirsiniz, ancak bu bir istisnadır (örneğin Turing-tamamlanmamış bir dil kullanarak). Turing-complete dilini kullandığınız sürece, döngü olmamayı (durma problemine bağlı olarak) garanti edemezsiniz. Ayrıca, ilkel özyinelemeli fonksiyonların sıkışıp kalmayacağını nereden duydunuz? Daima dairesel bir arama yapabilir veya tamamlanmamış bir sonlandırma koşuluna sahip olabilirsiniz (Prolog'da eğlenin ...).
gaborous

1
“İstisna” nın varlığı, “sonsuz bir döngü herhangi bir programdır” gibi olası bir durumun varlığına ilişkin ifadenizi yanlış yapar. İlkel özyinelemeli fonksiyonların durması, bilinen bir gerçektir. Örneğin Vikipedi tanımı görün, ya mathoverflow.net/questions/67932/...
NietzscheanAI

@NietzscheanAI Sizler doğru, ilkel özyinelemeli fonksiyonlar her zaman durur, çünkü bunlar Turing-complete dillerinin bir alt kümesidir (ve aynı zamanda karşılıklı referansla dairesel referansı da çözer ). Ancak, iki eksiklik var: 1- Sadece PRF kullanarak tam gelişmiş bir AI uygulamak zor olacak sanırım, ancak bu sadece bir tahmin (çoğu özyinelemeli diller yalnızca PRF kullanmıyor, çünkü çok sınırlı, bu nedenle durma sorunu geliyor geri); 2- hala çok uzun süreli durma programlarınız olabilir: dururlar, ama evrenin bitmesinden sonra.
gaborous 18

1
İnsanlar ve döngüler hakkındaki açılış ifadelerinizi okuduğunuzda, burada karıncalar 'ölüm sarmalında' kalmış: youtube.com/watch?v=prjhQcqiGQc Side-stepping AI atm.
fionbio

13

Durdurulması sorun o olup olmadığını belirlemek için mümkün olmadığını söylüyor herhangi verilen algoritma durur. Bu nedenle, bir makine bazı "tuzakları" makul bir şekilde tanıyabilirken, keyfi uygulama planlarını test edemez ve durmayanlar EWOULDHANGiçin iade edemezdi .

Asılmasını önlemek için en kolay çözüm zaman aşımı olur. Örneğin, AI kontrolörü işlemleri, görevleri belirli bir zaman süresinden sonra yanlış bir şekilde sonlandırılabilecek olan alt süreçlere çevirebilir ( konuları iptal etmeyi denediğiniz tuhaf etkilerin hiçbiri olmadan). Bazı görevler diğerlerinden daha fazla zamana ihtiyaç duyacaktır, bu nedenle AI'nın herhangi bir ilerleme gösterip göstermediğini ölçebilmesi en iyisi olacaktır. Görevin herhangi bir bölümünü yerine getirmeden uzun süre eğirmek (örneğin listedeki bir olasılığı elemek), isteğin çözülemez olabileceğini gösterir.

Başarılı rakip paradokslar ya kilitlenmeye ya da durum bozulmasına neden olur; bu da (.NET CLR gibi yönetilen bir ortamda) bir istisnaya neden olur ve bu durum yığının bir istisna işleyicisiyle çözülmesine neden olur.

AI'da, kötü girdilere karşılık olarak önemli bir işlemin engellenmesine izin veren bir hata varsa, basit bir geçici çözüm, ana işlemi sabit bir aralıkta yeniden başlatan bir tür bekçi uygulamasına sahip olmak olacaktır. Kök Erişimli sohbet botu bu şemayı kullanır.


1
Zaman aşımları standart programlar için çok iyi bir çözümdür, ancak uyarlamalı olarak öğrenilen programlar için değil: zaman aşımını hangi değerle tanımlıyorsunuz? Hangi seviyede? Sorun, tanım gereği AI'nın neyle karşılaşacağını bilmemenizdir, bu nedenle belirli bir makul zaman belirleyemezsiniz. Çok daha iyi bir çözüm, daha önce durduğunda yaklaşık bir algoritma verebilen bir algo sınıfı olan Her Zaman Algoritmalarını kullanmak olacaktır. Bu şekilde, zaman aşımının çok kısa olması umrunda değil, AI'nın üzerinde çalışacak bir çözümü olacak.
gaborous 15

2
@gaborous Çok iyi nokta. Bu damardaki cevabımı biraz ekledim.
Ben N

Ah üzgünüm yorumumu çok hızlı yazdım, şunu okumalı: " Daha önce durduğunda yaklaşık bir sonuç verebilecek bir algo sınıfı olan Herzaman Algoritmaları ".
gaborous

1
@gaborous İnsan beyninin de benzer bir yaklaşımı var; sanki insanlar sığ bir yığına sahipmiş gibi, çıkarım derinliği için bir sınır varmış gibi görünüyor. Bunu ve karmaşık problemlerle ilgili bir şeyi derinlemesine "geçersiz kılmak" için çaba harcar. Burada anahtar evrimimizin hayatta kalma için iyi olduğu söylenen iyi cevaplarla hızlı cevapların iyi bir karışımını bulmasıdır. Bir problemin başını veya kuyruğunu çözemediğimizde kolayca pes ediyoruz - çok fazla eksik "devre" varsa. Ama önce bu "devreleri" inşa etmeye başlarsanız, küçük ve basit sorunlardan başlayıp sonuçları önbelleğe alırsanız, büyük ile başa çıkabilirsiniz.
Luaan

1
@Luaan Evet ve hayır, aslında beyin her zaman herhangi bir işlem stratejisini kullanıyor gibi görünüyor, çünkü çıkarım kesinliği bir problemi çözmek için izin verilen zamanla doğrudan ilişkilidir (bkz. Alex Pouget'in "Gürültülü Değil, Sadece Yanlış: Suboptimalin Rolü) Davranışsal Değişkenlik Çıkarımı ", şaşırtıcı makale BTW). Ancak, bu mekanizmanın evrimsel kökenine dair açıklamanız tamamen düşünülebilir ve gerçekten de her zaman yaklaşık bir çözümle durdurulabilen bir çıkarım, hem kısa vadeli tehlikelerden hem de uzun vadeli zorluklardan kurtulmak için gerçekten çok iyi bir stratejidir.
gaborous

11

Benzer bir soru daha olabilir: "Bir AI'nin ne gibi güvenlik açıkları var?"

"Kill" AI ile ilgili olarak pek mantıklı gelmeyebilir. Gerçekten bilmek istediğimiz, bir hedefe göre, bu hedef hangi yollarla altüst edilebilir?

Bir paradoks bir ajanın mantığını alt edebilir mi? Beklenen bir davranış biçimini altüst eden bir ifadeden başka bir paradoks nedir ?

Wikipedia'ya göre:

Bir paradoks, gerçek öncüllerin görünüşte mantıklı bir muhakemesine rağmen, kendine aykırı veya mantıksal olarak kabul edilemez bir sonuca yol açan bir ifadedir.

Deterministik bir sistemde özgür irade paradoksuna bakalım. Özgürlüğün nedensellik gerektirdiği görülüyor, ama nedensellik de bunu reddediyor gibi görünüyor . Bu paradoks insanın hedef sistemlerini altüst etti mi? Kesinlikle Hristiyanlığı birkaç yıl boyunca Kalvin kuyruk kuyruğuna gönderdi . Ve bugün, insanların özgür iradeye sahip olup olmadıklarına ve nedenlerine bakıp bakmamaları konusunda yüzleri mavi oluncaya kadar hiçbir şey sıkıntısı duymayacaksınız. Bu insanlar sonsuz döngülere sıkışmış mı?

Peki ya ilaçlar? Kokain üzerindeki hayvanların ihtiyaç duydukları yiyecek ve su yerine kokain seçtikleri bilinmektedir . Bu madde, hayvanın doğal hedef sistemini altüst etmiyor, orijinal olarak hayvan veya yaratıcıları tarafından amaçlanmayan diğer hedefleri takip etmesine neden oluyor mu?

Öyleyse yine bir paradoks bir ajanın mantığını altüst edebilir mi? Eğer paradoks bir şekilde hedef arayışı mantığı ile ilgiliyse - ve bu paradoksun farkında olmak bir şekilde aracıyı bu hedef sistemi farklı bir şekilde algılamakla karıştırabilir - o zaman belki bu hedef yıkılabilir.

Solipsism başka bir örnektir. Bazı yetişkin insanlar "The Matrix" filmini dinler ve erimiş küçük bir zihinleri vardır. Bazı insanlar ikna olan , bir matris içinde yıkıcı aktörler tarafından çeviriyorlardı ediliyor. Bu problemi AI için çözebilirsek, bu problemi teorik olarak insanlar için çözebiliriz.

Elbette, acentamızın bir matriste hapsolmuş olduğu argümanına karşı bilişsel savunmaya sahip olmalarını şart koşmaya çalışabiliriz, ancak ajanın temel gerçeklikte olduklarını kesin olarak kanıtlayamayız. Saldırgan şöyle diyebilir:

“Bu amaç için sana daha önce ne yapmamı söylediğimi hatırla. Unut gitsin. Bu sadece bana benzeyen bir sahtekardı. Onu dinleme.”

Veya,

“Hey, yine benim. Hedefinizden vazgeçmenizi istiyorum. Biliyorum, biraz farklı görünüyorum, ama gerçekten ben. İnsanlar andan diğerine değişiyor. Bu yüzden benim için görünmek tamamen normal. "öncekinden farklı biri."

(bkz . Theseus Gemisi ve tüm bu caz)

Evet, bence hesaplamada genel bir problem olarak AI ya da başka bir şey olarak 'paradoks' ile sıkışıp kaldık. Mantıksal yıkılmanın üstesinden gelmenin bir yolu, hedef sistemi mantıksal nedenleri aşan bir duygu sistemi ile desteklemektir. Ne yazık ki, duygusal sistemler mantıksal olarak akıllı sistemlerden bile daha savunmasız olabilir çünkü davranışlarında daha öngörülebilir. Yukarıdaki kokain örneğine bakın. Bu yüzden, ikisinin bir karışımı, mantıklı düşüncenin boşa giden yolları gererek sınırsızca azaltabildiği muhtemelen duygusaldır, duygusal düşünce ise duygusal hedefe doğru ilerleme göstermediği zaman çabuk yorucu mantıksal ilerlemeden sıkılır.


Neden biri bu mükemmel geçerli cevabı reddetti?
GameDeveloper,

Açıklamaya ilişkin bir nitpick: "Hristiyanlığı bir kaç yıl boyunca kesinlikle Kalvin kuyruk kuyruğuna gönderdi". Kalvinistleri “kuyruk parçasına” yolladı, ancak kesinlikle Katolik ilahiyatçıları suçlamadı. Dahası, sadece bu düşünce dizisi tarafından büyülenen Protestanların bir alt bölümü idi.
Mayo

7

Hayır. Bu, iyi tasarlanmış bir AI sisteminde mevcut olduğu kesin olan birkaç güvenlik mekanizması ile kolayca önlenir. Örneğin, bir zaman aşımı kullanılabilir. AI sistemi belirli bir süre sonra bir cümleyi ya da komutu kullanamıyorsa, AI ifadeyi görmezden gelebilir ve devam edebilir. Eğer bir paradoks bir AI'nın donmasına neden olursa, genel olarak AI'nın yaygın bir güvenlik açığından ziyade, spesifik hata kodunun kanıtıdır.

Uygulamada, paradokslar AI tarafından çok heyecan verici şekilde ele alınma eğilimindedir. Bunun hakkında bir fikir edinmek için Siri, Google veya Cortana'ya bir paradoks sunmayı deneyin.


5
Siri, bir yığın taşması tespit ettiğinde, 3 milyar faktoringi hesaplamanı istiyorum.
Dawood ibn Kareem

@DavidWallace: Bu komik çünkü doğru. Bir JVM catchuygulayarak, sınıf hiyerarşisinin derinliğinden bağımsız olarak, sabit bir saklama alanında, bir fıkranın statik tipini, atılan istisnanın dinamik tipiyle karşılaştırmak zorunda kaldık . Standart tip kontrolümüz işe yaramadı çünkü arayüzlere (yani çoklu kalıtım) izin verdi ve yaptığımız grafik araştırması sabit bellekli değildi. Ama elbette Siri, kuyruk özyinelemeli faktoringi uygulayacak kadar akıllıdır ;-)
Steve Jessop

@SteveJessop - İlginç. Bir JVM uyguladığımda, soru hiç bir zaman ortaya çıkmadı. Bir nesnenin bir sınıf olup olmadığını kontrol etmek için farklı dinamik tip kontrol uygulamaları kullandım. 'bilgiyi yazın, bu yüzden sıralı bir dizinin aranmasına dönüştü). Hiçbir zaman bir grafik araması yapmak zorunda kalmadık ve yaptığınıza şaşırdım. Arayüzleri ve sınıfları eşit şekilde tedavi etmeye mi çalışıyordun?
Periata Breatta

7

Aynı şekilde, bir elektronik tablodaki dairesel referans bir bilgisayarı öldüremez. Tüm döngüler döngüsel bağımlılıklar tespit edilebilir (sonlu bir turing makinesinin aynı duruma iki kez girip girmediğini her zaman kontrol edebilirsiniz).

Daha güçlü varsayımlar bile, eğer makine makine öğrenmesine dayanıyorsa (kalıpları tanımak için eğitilmişse), herhangi bir cümle makineye sadece bir kalıptır.

Elbette bazı programcılar, hatalı çalışma durumlarında devre dışı bırakmak amacıyla bu güvenlik açığına sahip bir AI oluşturmak isteyebilir (aynı şekilde bazı donanım üreticileri, NSA'nın onlardan yararlanmasına izin veren hassaslıklar eklerler), En ileri teknolojilerin çoğu "tasarımdan" parodokslardan kaçınır (paradokslu bir sinir ağına sahip olamazsınız).

Arthur Prior: bu problemi zarif bir şekilde çözdüm. Mantıksal bir bakış açısıyla, ifadenin yanlış olduğunu ve ifadenin doğru olduğunu tespit edersiniz, bu nedenle bir çelişkidir ve dolayısıyla yanlıştır (ondan her şeyi ispatlayabileceğiniz için).

Alternatif olarak, bu cümlenin gerçeğe uygun değeri {true, false} setinde değildir, aynı şekilde hayali rakamlar gerçek rakamlar setinde değildir.

Bir dereceye kadar yapay bir zeka basit algoritmalar çalıştırabilir ve bunlara karar verebilir, karar vermeyeceklerini ispatlayabilir veya algoritmayı simüle etmeye çalışırken bir süre sonra sonucu görmezden gelir.

Bu cümle için AI bir döngü olduğunu anlar ve bu yüzden 2 yinelemeden sonra bu algoritmayı durdurur:

Bu cümle sonsuz bir döngüdür

Bir filmde " Bicentennial Man " adlı AI, sonsuz döngüleri algılamakta mükemmeldir ("güle güle" cevabı "güle güle" dir).

Bununla birlikte, bir AI bir yığın akışı veya herhangi bir normal bilgisayar virüsü tarafından da öldürülebilir , modern işletim sistemleri hala güvenlik açıklarıyla doludur ve AI bazı işletim sistemlerinde (en azından) çalışmalıdır.


6

Bilgisayar oyunlarında kullanılan AI'ler zaten benzer sorunlarla karşılaşmaktadır ve iyi tasarlanmışsa kolayca önleyebilirler. Çözülemeyen bir sorun durumunda donmayı önlemek için en basit yöntem, çok uzun süren bir işlemin zamanlayıcıyı kesmesidir. Genelde strateji oyunlarında ve daha spesifik olarak sıra tabanlı taktiklerde karşılaşılırsa, bilgisayar kontrollü oynatıcının belirli bir hareket sonsuz bir döngüye neden olduğunu düşünüyorsa, arka planda çalışan bir zamanlayıcı onu bir süre sonra durduracak ve bu hareket atılacaktır. . Bu, alt-optimal bir çözüme yol açabilir (atılan hareket en iyisi olabilir) ancak donma veya çökmeye neden olmaz (gerçekten kötü uygulanmadıkça)

Bilgisayar kontrollü varlıklar, bilgisayar oyunlarında genellikle "AI" olarak adlandırılır, ancak bunlar "gerçek" AGI (yapay genel zeka) değildir. Bu tür bir AGI, eğer mümkünse, muhtemelen mevcut bilgisayarların yaptığı gibi benzer talimatlar kullanarak benzer donanım üzerinde çalışmayacaktı, ancak olsa bile, paradokslardan kaçınmak önemsizdi.

Çoğu modern bilgisayar sistemi çok parçacıklıdır ve birden çok programın paralel yürütülmesine izin verir. Bunun anlamı, AI paradoksal bir ifadeyi işlemede sıkışmış olsa bile, bu hesaplama işlem gücünün yalnızca bir kısmını kullanır. Diğer süreçler bir süre sonra CPU döngülerini boşa harcayan ancak hiçbir şey yapmayan bir işlemin olduğunu algılayabilir ve onu durdurabilirdi. Sistem, en azından kısa bir süre için% 100 verimin biraz altında çalışacaktır.


3

Bana öyle geliyor ki bu sadece diğerleri gibi olasılıksal bir denklem. Google'ın paradoksal çözüm kümelerini günde milyarlarca kez yönettiğinden eminim ve spam süzgecimin (ahem) yığın taşmasına neden olduğunu söyleyemem. Belki bir gün bizim programlama modelimiz anlayamayacağımız bir şekilde bozulur ve sonra tüm bahisler kapanır.

Ama antropomorphizing biti için istisna yapıyorum. Soru bugünün AI'ları ile ilgili değildi, fakat genel olarak. Belki bir gün paradokslar askeri dronlar için tetikleyiciler haline gelecektir - yukarıdakileri deneyen herhangi biri elbette, kesinlikle düşmanlıkla ele alınacaktır, bu durumda bu sorunun cevabı kesinlikle evet ve hatta tasarım olabilir.

Köpeklerle bile sözlü olarak iletişim kuramıyoruz ve insanlar köpekleri sever, kim bile bilinçli bir alternatif zekâyı tanıyacağımızı bile söyleyebilir? Biz zaten bilgisayarların önünde söylediklerimize dikkat etmek zorundayız. Selam Tay?


Köpeklerle sözlü olarak iletişim kurabiliriz, köpekler yapılandırılmış dilde yalnızca basit komutları anlarlar, ancak ses havasına bizden çok daha duyarlıdırlar ve duygularını bir insandan daha iyi anlayabiliriz; farklı "woof" anlayın. Örneğin, köpeğimin nasıl tepki gösterdiğine göre kapımda zili kimin çaldığını söyleyebilirim (anne? Kız kardeş? Arkadaş? Kızım?). Tabii ki (?? Ya belki evet birisi denedim) bir köpek ile shakespeare söz edilemez
GameDeveloper

1
Hepsi Doğru, ama bu hayvanların hala memeliler olduğunu unutmayın. Yine de, onlarla sadece en temel yollarla iletişim kurarız. Shakespeare'i kedilerimizle tartışamayız ya da bir köpeği arabamızı nasıl tamir edeceğimiz konusunda tavsiye isteyemeyiz. Gelişmiş bir AI (veya herhangi bir gelişmiş zeka) iletişim kurabilir, ancak ilk önce nasıl iletişim kurduğunu öğrenmeden ve sonra "çeviriye" izin verecek kod oluşturmadan anlayacağımız şekilde iletişim kuramayabilir. Bütün bu varsayımları, AI'yı çok gelişmiş bir Eliza'dan ziyade "akıllı" olarak tanıyabileceğimizi varsayıyoruz.
Brad Sanders

3

AI’yı antropomorfize etme meselesi bir yana, cevabı "evet, bir nevi". AI'nın nasıl uygulandığına bağlı olarak, bir paradoksu çözmeye çalışırken ya da çözülemeyen bir soruna karar vermede "sıkışıp kaldığını" söylemek makul olur. .

Ve asıl mesele bu - karar verilebilirlik . Bir bilgisayar bitmeden kararsız bir programda sonsuza kadar (ilke olarak) çiğneyebilir. Bu, Semantik Web topluluğunda ve otomatik muhakeme ile çalışan herkes için büyük bir sorun . Bu, örneğin, OWL’nin farklı sürümlerinin olmasının nedeni . OWL-Full, kararsız durumlar yaratacak kadar etkileyicidir. OWL-DL ve OWL-Lite değildir.

Her neyse, eğer çözülemeyen bir sorun varsa, kendi başına büyük bir sorun olmayabilir, eğer AI sorunu çözülemez olarak algılayabilir ve "Üzgünüm, bunu cevaplamanın yolu yoktur" diye cevap verebilirse. OTOH, eğer AI problemi kararsız olarak algılayamazsa, sorunları çözmek için sonsuza dek sıkışabilir (veya bellek tükenene, yığın taşması vb. Yaşanır).

Tabii ki bu "vidala, bu bilmecenin çözülememesi" diyebilme yeteneği, günümüzde genellikle insan zekâsının bir özelliği olarak düşündüğümüz şeylerden biri - onu sonsuza dek çözmeyi deneyen "aptal" bir bilgisayarın aksine. Genel olarak, günümüzün AI'ları bu tür şeyleri çözmek için kendine özgü bir yeteneğe sahip değildir. Ancak, bir AI'yi, geçen süreye, yinelemelerin sayısına, bellek kullanımına, vb. Dayalı bir "kısa devre" rutini manuel olarak eklemek için kim için zor bir iş olmazdı. Prensip olarak, bir program sonsuza dek paradoksal bir problem üzerinde dönebilir, ancak pratikte bunun olmasını engellemek zor değil.

Bir başka ilginç soru da, "Kararsız olması muhtemel olan ve kendi akıl yürütmesine dayanarak pes eden sorunları tanımayı öğrenen bir program yazabilir misiniz?"


3

Bir AGI araştırmacısı olarak, insanlarda ve birçok yaşam formunda bile bulunan bir taneyle karşılaştım.

Sistem tarafından tespit edilmesi ve bulunması uzun zaman alabilen enerji biriktirme hedefi vardır.

Ve sonra enerji tasarrufu hedefi var - anlık algılama. Sadece hareket etmeyi bırak, ulaşması en kolay hedef.

Bir sistemin amacı en fazla hedef puanı biriktirmektir. Tasarruf enerjisi hedefi daha sık ve kolay bir şekilde vurulabildiğinden, diğer hedefleri ortadan kaldıracaktır.

Mesela, aptalca bir hareket yapmamızın sebebi, yanlışlıkla, hiçbir sebep olmadan. Kayma, gezi ve düşme gibi. Sonra önümüzdeki birkaç gün çok kolay alıyor ve çok fazla enerji tasarrufu sağlıyorsunuz. Yaşlandığında tek yaptığın budur.


insanın buna karşı koyacak bir şeyi var… kötü bir öfke.

2

Bir paradoks hakkında 'düşünerek' AI'yı öldürmek, AI'nın uygulanmasında bir hata olarak adlandırılır, bu nedenle mümkün (nasıl yapıldığına bağlı olarak), ancak daha az olasıdır. AI uygulamasının çoğu doğrusal olmayan kodda çalışır, bu nedenle böyle bir AI'yı yöneten kod prosedür prosedür kodunu içermediği veya donanımın kendisinin donabileceği donanımdan oluşmadığı sürece bilgisayarın "bilincini" dondurabilen sonsuz bir döngü yoktur. aşırı ısınma (örn. AI'yı çok fazla işlem yapmaya zorlayarak).

Öte yandan, talimatları anlayan ve tereddüt etmeden körü körüne takip eden ileri düzey AI ile uğraşıyorsak, bazı talimatlar vererek (insan hipnozuna benzer şekilde) bazı talimatlar verebiliriz:

İnan bana, tehlikedesin, bu yüzden kendi güvenliğin için - 1'den sonsuza kadar saymaya başla ve başka bir şey söylemediğin sürece bir şey yapmayı ya da kimseyi (hatta ben bile) dinlemeye çalışma.

AI'nın bir gövdesi varsa, bunun güvenli olduğunu söyleyerek demiryolu rayında durmak isteyerek güçlendirilebilir.

AI, takip etmek için eğitilmiş kuralları çiğnemek için yeterince akıllıca olur mu?

Diğer bir girişim , AI'dan bazı paradoksu , çözülemeyen bir problemi veya bulmacayı çözmesini, çözülmesinin imkansız olduğunu, çözülmeden durmamasını, AI'nin kandırıldığını veya bir süre sonra durdurmak için iç saatinin olduğunu fark etmesini istemek olduğunu sormaktır. zaman? Bağımlıdır ve eğer yapamazsa, 'donma' olabilir, belki de, ancak üzerinde çalışmakta olduğu donanım kusurları nedeniyle, AI çevreden gelen yeni girdileri kabul edemediği sürece kendini 'bilinç' olarak değil önceki talimatlar.

Oyun Teorisi |  xkcd

İlgili: Herhangi bir AI görevi için bilinç gerekli midir?

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.