İşte maymun zihnimin ortaya çıkardığı bazı problemler.
1.Akıllı! = Her şeyi bilen
AI kendini geliştirme patlaması onu daha akıllı ve daha akıllı hale getirir. Daha akıllı olmak daha fazla gerçek bilmek demek değildir. Sanırım bu oldukça seçici bir argüman, ama düşünmeye değer.
Geçmişinizi bilmeyen çok akıllı bir doktor, daha iyi verilere sahip daha az akıllı olandan daha kötü bir seçim yapabilir.
2. Hepsi insanlar için mi? Bütün insanlar için mi?
Daha yüksek bir seviyeye ulaşan ASI, refahımızla ilgilenemedi.
Kontrollü bir ASI hala sadece birkaç kişinin yararına çalışabilir, eğer bu az sayıda kişi yanlış hedeflere karar verirse geriye doğru gidebiliriz.
3 Sert ASI
Bilimsel bir zihin mutlaka sempati veya empati ile dolu değildir.
4. Akıllı olmak ve zeki olmamak
Büyük akıllar hala hatalar yapar: * hedeflerini belirlerken ve * buna ulaşmak için planın yürütülmesinde.
Geat zekası, atılganlık eksikliğini veya kör nokta eksikliğini garanti etmez.
5. Sınırlar
Varoluş sınırları varsa (ışık tipi sınırlarının hızı) AI da bunlara bağlı olacaktır. Bu, ASI'nin bile 'elde edemeyeceği' şeyler olduğu anlamına gelebilir. Ayrıca, zihnimizin yapısına bağlı olarak sınırları olabileceğinden, bir sonraki AI da sınırlara sahip olabilir - ve uppn iyileştirse bile, 'çok aptal' olduğu için çözüm bulamadığı sınırlara ulaşabilir.
6. Biz elde edemeyiz
ASI'nin dünyanın bazı yönlerini anlaması çoğu insan için iletişimsel olmayabilir. Sadece anlayamayız (her şeyi anlayabilsek bile, bu anlayacağımız anlamına gelmez).
7. nasıl kullanılır?
Kendimizi ve yapay zekayı inşa etmemize yardımcı olan teknoloji ile yok edebiliriz. Bomba olmasına gerek yok. Jeomühendislik veya harika ilaçlar olabilir.
Bu özellikle ASI zaten güçlü ancak olumsuz sonuçları görecek kadar güçlü olmadığında yoğundur (ya da yine de görmezden geleceğiz).