Akinator.com ve Naive Bayes sınıflandırıcı

Bağlam: Ben üniversitelerin istatistiklerinde (yarı unutulmuş) bazı deneyimlere sahip bir programcıyım. Son zamanlarda http://akinator.com üzerine tökezledim ve başarısız olmasına çalışmak için biraz zaman geçirdim. Kim değildi? :)

Nasıl çalışabileceğini bulmaya karar verdim. İlgili blog gönderilerini okuduktan ve okuduktan ve bazı (sınırlı) bilgilerimi ortaya çıkan karışıma ekledikten sonra aşağıdaki modelle geliyorum (Yanlış gösterimi kullanacağımdan eminim, lütfen bunun için beni öldürmeyin):

Konular (S) ve Sorular (Q) vardır. Kestirimcinin amacı, kullanıcının şimdiye kadar topladığı sorular ve cevaplar verildiği düşünülen konu olma olasılığı en yüksek olan S konusunu seçmektir.

Oyun G'nin bir dizi soru ve cevaplar kümesi olmasına izin verin: .$\{q_1, a_1\}, \{q_2, a_2\} ... \{q_n, a_n\}$

Ardından yordayıcı arar .$P(S|G) = \frac{P(G|S) * P(S)}{P(G)}$

Konular için önceden ( ) sadece konunun tahmin edilme sayısının toplam oyun sayısına bölünmesi olabilirdi.$P(S)$

Tüm cevapların bağımsız olduğu varsayımıyla, G oyunu verilen S konusunun olasılığını şu şekilde hesaplayabiliriz:

$P(G|S) = \prod_{i=1..n} P(\{q_i, a_i\} | S)$

Kullanılan belirli bir konu olsa da hangi soruların ve cevapların verildiğini takip edersek hesaplayabiliriz :$P(\{q_i, a_i\} | S)$

$P({q, a} | S) = \frac{answer\ a\ was\ given\ to\ question\ q\ in\ the\ game\ when\ S\ was\ the\ subject}{number\ of\ times\ q\ was\ asked\ in\ the\ games\ involving\ S}$

Şimdi, denekler üzerinde bir olasılık dağılımı tanımlamaktadır ve bir sonraki soruyu seçmemiz gerektiğinde, bu dağılımın entropisinde beklenen değişikliğin maksimum olduğu soruyu seçmemiz gerekmektedir:$P(S|G)$

$argmax_j (H[P(S|G)] - \sum_{a=yes,no,maybe...} H[P(S|G \vee \{q_j, a\})]$

Bunu uygulamaya çalıştım ve işe yarıyor. Ancak, açık bir şekilde, konu sayısı her hareketten sonra nin yeniden hesaplanması ve güncellenmiş dağıtım hesaplanması ihtiyacı nedeniyle performans düşer . soru seçimi.P ( S | G ∨ { q j , a } $P(S|G)$$P(S|G \vee \{q_j, a\})$

Bilgilerimin sınırlarıyla kısıtlanmış olarak, sadece yanlış modeli seçtiğimden şüpheleniyorum. Ya da, belki matematikte bir hata vardır. Lütfen beni aydınlatın: milyonlarca konu ve binlerce soru ile başa çıkabilmek için kendimi nelere tanıtalım veya öngörücüyü nasıl değiştirmeliyim?

Bu oyun , içerik oluşturucunun raporlarının sinir ağına dayandığı http://20q.net adresindeki 20 soruya benzer . Burada, Kavram açıklama vektörlerinde ve 20 soru oyununda açıklanan sinir ağına benzer bir ağ yapılandırmanın bir yolu var .

Olurdu

1. Bazı sorular "son" soru olarak işaretlenmiş sabit sayıda soru.
2. Soru başına cevabı 0/1temsil eden bir girdi birimi no/yes. Başlangıçta0.5
3. Soru başına bir çıkış birimi, sigmoid 0..1 aralığına girdi
4. Tüm giriş birimlerini tüm çıkış birimlerine bağlayan gizli katman.

Cevaplanan sorular için girdi birimleri 0 veya 1 olarak ayarlanmıştır ve varsayım, sinir ağının mevcut bir dizi cevap verildiğinde "Evet" yanıtı olan sorular için çıktı birimlerinin çıktı değerlerini 1'e yakın hale getirecek şekilde eğitilmiş olduğu varsayımıdır.

Her aşamada NN, karşılık gelen çıkış biriminin yakın olduğundan en az emin olan soruyu seçersiniz, soruyu 0.5sorar ve cevaba karşılık gelen giriş birimini ayarlarsınız. Son aşamada "son soru" listesinden en yakın değere sahip bir çıktı birimi seçersiniz 1.

20 sorudan oluşan her oyun, NNağırlıklarını geri yayılım ile güncellemek için kullanabileceğiniz 20 veri noktası verir ; yani, mevcut sinir ağının çıktılarını, sorulan tüm önceki sorulara verilen gerçek yanıtla eşleştirmek için ağırlıkları güncellersiniz.

Bunun gerçekten bir sınıflandırma sorunu olduğunu düşünmüyorum. 20 soru genellikle bir sıkıştırma problemi olarak nitelendirilir . Bu aslında sorunuzun entropi hakkında konuştuğunuz son kısmı ile daha iyi eşleşir.

Bkz. Bölüm 5.7 ( Google kitaplar )

Cover, TM and Joy, AT (2006) Bilgi Teorisinin Unsurları

ve ayrıca Huffman kodlaması . ArXiv'de bulduğum bu yazı da ilgi çekici olabilir.

Gill, JT ve Wu, W. (2010) "Yirmi Soru Oyunları Her Zaman Evet İle Biter" http://arxiv.org/abs/1002.4907

Basitlik için evet / hayır soruları varsayalım (akinator.com izin verir belki izin verir, bilmiyorum). Her olası konunun (akinator.com'un bildikleri) evet / hayır soruları ve cevapları dizisi ile özdeş olarak tanımlanabileceğini varsayın - esasen bir ikili vektör.

Sorulan sorular (ve cevapları) konuların özyinelemesinin özyinelemeli bölümlenmesini tanımlar. Bu bölümleme aynı zamanda bir ağaç yapısına da karşılık gelir. Ağacın iç köşeleri sorulara karşılık gelir ve yapraklar deneklere karşılık gelir. Yaprakların derinliği tam olarak konuyu benzersiz bir şekilde tanımlamak için gereken soru sayısıdır. Olası her soruyu sorarak bilinen her konuyu (önemsiz bir şekilde) tanımlayabilirsiniz. Bu ilginç değil çünkü potansiyel olarak yüzlerce soru var.

Huffman kodlaması ile bağlantı, ağacın ortalama derinliğin (neredeyse) minimum olmasını sağlayacak şekilde yapılandırılması için (belirli bir olasılık modelinde) optimal bir yol vermesidir. Başka bir deyişle, soru dizisini nasıl ayarlayacağınızı (bir ağaç oluşturacağınız) anlatır, böylece sormanız gereken soru sayısı ortalama olarak azdır. Açgözlü bir yaklaşım kullanır.

Elbette, akinator.com'da bundan daha fazlası var, ancak temel fikir, problemi bir ağaç açısından düşünebilir ve yapraklarının ortalama derinliğini en aza indirmeye çalışabilirsiniz.