Gizli Markov modelleri ve sinir ağları arasındaki farklar nelerdir?

Sadece ayaklarımın istatistiklerini ıslattığım için üzgünüm, eğer bu soru mantıklı gelmiyorsa. Gizli aramaları (haksız kumarhaneler, zar atma vb.) Ve sinir ağlarını tahmin etmek için Markov modellerini ve kullanıcıların arama motorundaki tıklamaları incelemek için kullandım. Her ikisinde de gözlemleri kullanarak çözmeye çalıştığımız gizli durumlar vardı.

Anladığım kadarıyla ikisi de gizli durumları öngörüyor, bu yüzden Markov modellerini ne zaman sinir ağları üzerinde kullanacağını merak ediyorum. Bunlar sadece benzer sorunlara farklı yaklaşımlar mı?

(Öğrenmeye ilgi duyuyorum ama başka bir motivasyonum da var, gizli Markov modellerini kullanarak çözmeye çalıştığım bir sorunum var ama bu da beni heyecanlandıran başka bir şey kullanıp kullanamayacağımı görmekle ilgileniyordu.)

Ne gizli ve ne gözlenir

Gizli bir Markov modelinde saklanan şey, ayrık bir karışım modelinde saklanan ile aynıdır, bu nedenle netlik için, gizli durumun dinamiklerini unutun ve örnek olarak sonlu bir karışım modeline sadık kalın. Bu modeldeki 'durum', her bir gözlemlemeye neden olan bileşenin kimliğidir. Bu model sınıfında bu tür nedenler hiçbir zaman gözlenmez, bu nedenle 'gizli sebep', kaynak bileşen bilindiğinde ortadan kaldırılan gözlenen verilerin marjinal bağımlılıklara sahip olduğu iddiasına istatistiksel olarak dönüştürülür. Ve kaynak bileşenlerin bu istatistiksel ilişkiyi doğru kılan şey olduğu tahmin edilmektedir.

Sigmoid orta üniteli ileri beslemeli çok katmanlı bir sinir ağında gizlenen şey, çıkarımın hedefi olan çıktılar değil, bu ünitelerin durumlarıdır. Ağın çıktısı bir sınıflandırma olduğunda, yani olası çıktı kategorilerine göre olasılık dağılımı olduğunda, bu gizli birimler değerleri, kategorilerin ayrılabileceği bir alanı tanımlar. Böyle bir modeli öğrenmenin püf noktası, içinde problemin doğrusal olduğu gizli bir alan oluşturmaktır (giriş birimlerinin haritasını düzenleyerek). Sonuç olarak, doğrusal olmayan karar sınırları sistemden bir bütün olarak mümkündür.

Üretken ve ayrımcı

Karışım modeli (ve HMM), bazen olabilirlik veya 'ileri model' olarak adlandırılan veri üretme sürecinin bir modelidir. Her bir durumun önceki olasılıkları hakkındaki bazı varsayımlarla birleştiğinde, Bayes teoremini (üretken bir yaklaşım) kullanarak gizli durumun olası değerleri üzerinde bir dağılım elde edebilirsiniz. 'Öncelik' olarak adlandırıldığında, hem önceki hem de olasılıktaki parametrelerin genellikle verilerden öğrenildiğine dikkat edin.

Karışım modelinin (ve HMM) aksine, sinir ağı doğrudan çıktı kategorileri üzerinde bir posterior dağılım öğrenir (ayırt edici bir yaklaşım). Bu mümkündür çünkü çıktı değerleri tahmin sırasında gözlendi. Ve gözlemlendiklerinden, karışım gibi olabilirlik olasılığı için önceki ve spesifik bir modelden bir posterior dağılım oluşturmak gerekli değildir. Posterior, daha verimli ve daha az modele bağımlı olan verilerden doğrudan öğrenilir.

Karıştır ve Eşleştir

İşleri daha kafa karıştırıcı hale getirmek için, bu yaklaşımlar birlikte kullanılabilir, örneğin karışım modeli (veya HMM) durumu bazen gözlemlendiğinde. Bu doğru olduğunda ve burada ilgili olmayan diğer bazı durumlarda, farklı bir üretici modelde ayrımcı bir şekilde eğitim almak mümkündür. Benzer şekilde, bir HMM'nin karışım modeli eşlemesini daha esnek bir ileri model, örneğin bir sinir ağı ile değiştirmek de mümkündür.

Sorular

Dolayısıyla her iki modelin de gizli durumu öngördüğü doğru değil. HMM'ler , yalnızca ileri modelin beklediği türden de olsa, gizli durumu tahmin etmek için kullanılabilir. Sinir ağları henüz gözlemlenmemiş bir durumu tahmin etmek için kullanılabilir , örneğin tahmin edicilerin mevcut olduğu gelecekteki durumlar. Bu tür bir devlet prensipte gizli değildir, henüz henüz gözlemlenmemiştir.

Birini diğerinden ziyade ne zaman kullanırsınız? Sinir ağları benim deneyimimde oldukça garip zaman serisi modelleri oluşturuyor. Ayrıca çıktıyı gözlemlediğinizi de varsayıyorlar. HMM'ler değil ama gizli durumun gerçekte ne olduğuna dair hiçbir kontrolünüz yok. Yine de uygun zaman serisi modelleridir.

Gizli Markov Modelleri bir dilin üretilmesi, yani bir dizge ailesinin elemanlarının listelenmesi için kullanılabilir. Örneğin, bir dizi diziyi modelleyen bir HMM'niz varsa, modellediğimiz dizilerin grubuna girecek dizileri listeleyerek bu ailenin üyelerini oluşturabilirsiniz.

Sinir Ağları, yüksek boyutlu bir alandan girdi alır ve basitçe daha düşük boyutlu bir alana eşler (Sinir Ağlarının bu girişi haritalandırması, eğitime, topolojisine ve diğer faktörlere dayanır). Örneğin, bir sayının 64 bit görüntüsünü alabilir ve bu sayının 1 veya 0 olduğunu açıklayan doğru / yanlış bir değerle eşleyebilirsiniz.

Her iki yöntem de bir öğenin bir sınıfın üyesi olup olmadığını ayırt etmeyi (en azından denemeyi) mümkün olsa da, Sinir Ağları yukarıda açıklandığı gibi bir dil oluşturamaz.

Saklı Markov Modellerinin alternatifleri var; örneğin, sorunun HMM’lerin güçsüzlüğünün içinde olduğuna inanıyorsanız, daha genel bir Bayesian Ağı, farklı bir topoloji veya Stokastik Bağlamsız Dilbilgisi (SCFG) kullanabilirsiniz. Sorununuzu modelleyin - yani, daha karmaşık hipotezler arasında ayrım yapabilen ve / veya çok daha karmaşık verilerin davranışını tanımlayabilen bir algoritmaya ihtiyacınız varsa.

Bu soruya bulduğum şeye en iyi cevap şudur: Kılık değiştirmiş bir Markov zincirini derinlemesine öğrenmek . Bu tam olarak anladığım şeydi, ancak Internet’te başka bir yerde bir tartışma olduğundan, bağlantıyı buraya koyuyorum.

Tek bir karakter yerine girdi olarak bir karakter dizisi kullanabiliriz. Bu şekilde devleti daha iyi yakalayabiliriz (içeriğe bağlı olarak).