Bir makineyi ne motive eder?

Şu anda, AI geliştirme alanında ana odak, desen tanıma ve makine öğrenimi üzerinde görünmektedir. Öğrenme, dahili değişkenleri bir geri besleme döngüsüne göre ayarlamakla ilgilidir.

Maslow'un ihtiyaçlar hiyerarşisi, Abraham Maslow tarafından önerilen psikolojide, bireylerin en temel ihtiyaçlarının, daha üst düzey ihtiyaçlara ulaşmak için motive edilmeden önce karşılanması gerektiğini iddia eden bir teoridir.

Bir makineyi harekete geçirmek için ne motive edebilir? Bir makine, ihtiyaçlar hiyerarşisini tanımlayacak bir çeşit DNA benzeri yapıya sahip olmalı mı (Maslow'un teorisine benzer)? Bir makinenin temel ihtiyaçları neler olabilir?

Motivasyonu uygulamak için mevcut yöntem bir tür yapay ödültür. Örneğin Deepmind'in DQN'si oyunun skoruyla yönlendirilir. Puan ne kadar yüksek olursa o kadar iyidir. AI en yüksek puanı ve dolayısıyla en yüksek ödülü almak için eylemlerini ayarlamayı öğrenir. Buna takviye eğitimi denir . Ödül , yapay zekayı hareketlerini uyarlaması için motive ediyor.

Daha teknik bir terimde AI, uygulanan yardımcı program işlevine bağlı olan yardımcı programı en üst düzeye çıkarmak istiyor . DQN durumunda, bu oyundaki puanı en üst düzeye çıkarır.

İnsan beyni benzer bir şekilde işlev görür, ancak biraz daha karmaşık ve çoğu zaman düz değildir. İnsanlar olarak genellikle eylemlerimizi yüksek bir dopamin ve serotonin çıkışı üretmek için ayarlamaya çalışıyoruz . Bu, takviye öğrenimi sırasında AI'ları kontrol etmek için kullanılan ödüle benzer. İnsan beyni, hangi maddelerin bu maddelerin en fazla miktarını ürettiğini öğrenir ve çıktıyı en üst düzeye çıkarmak için stratejiler bulur. Bu, elbette, bu karmaşık sürecin basitleştirilmesidir, ancak resmi elde edersiniz.

Motivasyon hakkında konuşurken, lütfen onu bilinç veya nitelik ile karıştırmayın . Bunlar hiç motivasyon için gerekli değildir. Yapay zekadaki bilinç ve nitelikleri tartışmak istiyorsanız, bu tamamen farklı bir top oyunudur.

Bir çocuk merak uğruna merak etmez. Keşfederken olumlu pekiştirir, çünkü çocuğun beyninin yararlı işlevi, ödüllendirici nörotransmitterleri serbest bırakarak keşfi ödüllendirir. Yani mekanizma aynı. Bunu AI'ye uygulamak, yeni deneyimleri ödüllendiren bir yardımcı program işlevi tanımlamak anlamına gelir. Bir çeşit takviye ödülü olmadan içsel bir tahrik yoktur.

Bu aslında ilginç bir soru.

Jeff Hawkins ve Sandra Blakeslee tarafından yazılan "Zeka hakkında" kitabında "merakın nereden kaynaklanabileceği" konusunda oldukça gerçekçi bir fikir var.

Bu ifadelere dayanmaktadır:

• Zihin, içinde bulunduğu dünyanın kendi modelini yaratır.

• Her şey hakkında her zaman tahminlerde bulunur (aslında Jeff Hawkins, bunun zekanın ana özelliği olduğunu belirtir).

• Bir şey hakkında tahmin dünyanın uygun davranışı tarafından takip edilmediğinde, bu şey akla çok ilginçleşir (model yanlıştır ve düzeltilmelidir) ve daha fazla dikkat gerektirir.

Örneğin, sol insan gözüne baktığınızda beyniniz bunun bir insan yüzü olduğunu ve sağda ikinci göz olması gerektiğini tahmin eder. Sağa bak ve bir burun gör! Bu ne sürpriz! Şimdi tüm dikkatinizi çekiyor ve modelinize uymayan garip bir şey hakkında daha fazla gözlem yapmak için bu motivasyona sahipsiniz.

Bu yüzden yapay zekanın modeline göre belirli bir şey yapabileceğini ya da dünya hakkında yaptığı tahminler doğru olduğunda rastgele davranabileceğini söyleyebilirim. Ancak bazı tahminler bozulduğunda AI, modeline hata düzeltme yapma motivasyonu kazanır.

Basit bir durumda, bir makine, çıktısıyla yapabileceği her şeyi yaparak tamamen rastgele başlar. Bir çeşit düzeni veya tekrarlanan modelleri tespit ettiğinde hiçbir modeli veya rastgele bir modeli olmasa da "ilgileniyor" ve modele ekliyor. Bir süre sonra, model daha karmaşık tahminler yaparak ve bir modelde daha yüksek düzeydeki hataları tespit ederek daha karmaşık hale gelir. Yavaş yavaş, her şeyi hatırlamak yerine, ilginç bir şeyi gözlemlemek için ne yapılacağını öğrenir.

Takviye öğrenme kursunun ilk dersinde profesör Richard Sutton'a benzer bir soru sordum . Görünüşe göre makineyi motive etmek için farklı yollar var. Aslında, makine motivasyonu bana özel bir araştırma alanı gibi geliyor.

Tipik olarak, makineler nesnel fonksiyon veya maliyet fonksiyonu veya kayıp fonksiyonu dediğimiz şeyle motive olurlar . Bunlar aynı kavramın farklı isimleridir. Bazen,

Makinenin hedefi, bir optimizasyon problemi ya da çözmek için, ya da bir maksimize sorun, , tanımına bağlı olarak .$\min_a L(a)$$\max_a L(a)$$L$

Bunu oyunlar bağlamında düşünerek biraz zaman geçirdim.

Ödül fonksiyonları ile ilgili problem, genellikle yararlı ancak sonuçta maddi olarak anlamsız olan ağırlık düğümleri içermesidir.

İşte iki önemli anlamlı ödül:

HESAPLAMALI KAYNAKLAR

Bir AI'nın puanlar için değil, işlemci zamanı ve belleği için rekabet ettiği bir oyun düşünün.

Algoritma oyunda ne kadar iyi performans gösterirse, o kadar fazla bellek ve işleme erişimi olur. Bunun pratik bir etkisi vardır - otomatlar için ne kadar çok kaynak mevcutsa, o kadar güçlüdür. (yani karar vermek için zaman ve mekan açısından rasyonellik daha az sınırlıdır .) Dolayısıyla algoritma böyle bir yarışmaya hakim olmak için "motive olur".

ENERJİ

Burada özellikle işlenmesi için enerjiye ihtiyaç duyduğu bilgisine atıfta bulunan yeterli derecede "kendini bilinci" olan herhangi bir otomata, uçların gereksiz yere çevrilmesini (gereksiz enerji tüketimi) ortadan kaldırmak için kendi kodunu kendi kendine optimize etmeye motive olur.

Böyle bir algoritma da çalışmaya devam edebilmesi için güç kaynağını sağlamak için motive edilebilir.