Sesin insan konuşmasına ne kadar benzediğini belirleme

Bu soruna bir cevap ararken, bu tahtanın bu soruyu Stack Overflow'dan geçmeye karar verdim .

Sayısal olarak ifade edilen bir ses kesimi ile bir insan sesi arasındaki benzerliği belirlemek için bir yöntem arıyorum.

Biraz aradım, ancak şimdiye kadar bulduğum şey (aşağıda ayrıntılı olarak) gerçekten ihtiyacım olana uymuyor:

• Bir yöntem, bir ses segmentinden kelime elde etmek için konuşma tanıma yazılımı kullanmaktır . Bununla birlikte, bu yöntem sesin insan konuşmasına ne kadar "benzer" olduğunu ortaya koyamaz; genellikle seste kelimeler olup olmadığını söyleyebilir, ancak kesin kelimeler yoksa, sesin bu tür sözlere sahip olduğunu söyleyemez.
  Örnekler: CMU Sfenks , Yusufçuk , SHoUT

• Daha umut verici olan yönteme Ses Etkinliği Algılama (VAD) adı verilir. Bununla birlikte, bu aynı problemlere sahip olma eğilimindedir: VAD kullanan algoritmalar / programlar, aktivite eşiğine ulaşılıp ulaşılmadığına geri dönme eğilimindedir ve bu eşikten önce veya sonra "benzerlik" değeri yoktur. Alternatif olarak, çoğu insan sesine benzerlik değil, sadece hacim arar.
  Örnekler: Speex , Dinleyici , FreeSWITCH

Herhangi bir fikir?

Bu tür bir problem genellikle makine öğrenimi teknikleri kullanılarak çözülür.

Sinyali 20ms veya 50ms'lik bir çerçeveye bölün. Her karedeki özellikleri ayıklayın. MFCC genellikle bu tür uygulamalar için iyidir, ancak ses algılamaya daha spesifik olan özellikler vardır (4 Hz modülasyon enerjisi - kabaca insanların konuşma hızıdır; sıfır geçiş oranı).

Daha sonra, elle konuşma / konuşma değil olarak etiketlediğiniz bir eğitim seti kullanarak, çerçeve özellikleri üzerinde bir sınıflandırıcı (Gauss karışım modelleri, SVM ...) eğitin.

Bu, etiketlenmemiş çerçeveleri konuşma / konuşma dışı sınıflara ayırmanıza olanak tanır. Son adım, kararların düzeltilmesinden oluşur (örneğin, yüzlerce konuşma çerçevesiyle çevrili konuşma dışı olarak sınıflandırılan bir çerçeve sınıflandırma hatasıdır), örneğin HMM'ler veya sadece bir medyan filtre.

Birkaç referans:

Sesli belgelerde sağlam konuşma / müzik sınıflandırması (Pinquier & al) Multimedya uygulamaları için konuşma / müzik ayrımcılığı (El-Maleh ve al) Konuşma / müzik ayrımcılığı özelliklerinin karşılaştırılması (Carey ve al)

Açıkladıkları özelliklerin ve sınıflandırma tekniklerinin aynı zamanda (sınıf konuşmasını başka bir şeye karşı ayırt etmek yerine) 1. sınıf problemi ile de ilgili olduğunu unutmayın. Bu durumda, 1-sınıf SVM gibi 1-sınıf modelleme tekniklerini kullanabilir veya bir konuşma verisi üzerinde eğitilmiş bir GMM'den "konuşkanlık" ölçüsü olarak olabilirlik puanını alabilirsiniz.

Öte yandan, sorununuz gerçekten konuşmayı başka bir şeye (müzik söyleyin) karşı ayırıyorsa, bu içeriğin kendisini tanımlamak yerine benzer ses içeriği arasındaki sınırları tespit etmeye odaklanan denetimsiz yaklaşımları da çok iyi kullanabilirsiniz .