MFCC'lerin hesaplanmasına / anlaşılmasına yardımcı olun: Mel-Frequency Cepstrum Katsayıları

Çevrimiçi olarak bitleri ve parçaları okuyorum ama hepsini bir araya getiremiyorum. Bunun için yeterli önkoşullar olması gereken sinyaller / DSP şeyleri hakkında temel bilgilerim var. Sonunda Java'da bu algoritmayı kodlamakla ilgileniyorum ama tam olarak anlamadım, bu yüzden buradayım (matematik olarak sayılıyor, değil mi?).

İşte bilgimdeki boşluklarla birlikte nasıl çalıştığını düşünüyorum.

1. Diziye okuyabileceğiniz bir .wav dosyası gibi sesli konuşma örneğinizle başlayın. Bu dizi ara $x[n]$ , aralıkları (böylece örnekleri). Değerler sanırım ses yoğunluğuna karşılık geliyor - genlikler.0 , 1 , … , N - 1 $n$$0, 1, \ldots ,N-1$$N$

2. Ses sinyalini, konuşma sinyalinin "sabit" olduğunu düşündüğünüz 10ms gibi "karelere" ayırın. Bu bir tür kantifikasyon şeklidir. Örnekleme hızınız 44,1KHz ise, 10ms 441 örneğe veya değerlerine eşittir .$x[n]$

3. Fourier dönüşümü yapın (hesaplama uğruna FFT). Şimdi bu, tüm sinyalin üzerinde mi, yoksa nin her bir ayrı karesinde mi yapılıyor ? Bence bir fark var çünkü genel olarak Fourier dönüşümü bir sinyalin tüm elemanlarına bakıyor, bu yüzden ile katıldı ile katıldı; burada daha küçük karelerdir. Her neyse, biraz FFT yaptığımızı ve bunun geri kalanında ile sonuçlandığımızı varsayalım .F ( x [ n ] ) ≠ F ( x 1 [ n ] ) F ( x 2 [ n ] ) … F ( x N [ n ] ) x i [ n ] X [ k $x[n]$$\mathcal F(x[n]) \neq \mathcal F(x_1[n])$$\mathcal F(x_2[n])$$\ldots \mathcal F(x_N[n])$$x_i[n]$$X[k]$

4. Mel ölçeğine eşleme ve günlüğe kaydetme. Düzenli frekans sayılarını Mel skalasına nasıl çevireceğimizi biliyorum. X [ k ] nin her ( bana izin verirseniz "x ekseni"), formülü burada yapabilirsiniz: http://en.wikipedia.org/wiki/Mel_scale . Peki "y-değerleri" ne veya X [ k ] ' nin genliklerine ne dersiniz ? Sadece aynı değerler olarak kalıyorlar mı, ancak yeni Mel (x-) eksenindeki uygun noktalara mı kayıyorlar? Bazı makalelerde X [ k ] ' nın gerçek değerlerinin kaydedilmesiyle ilgili bir şey olduğunu gördüm çünkü o zaman X [ k ] = A [ k$k$$X[k]$$X[k]$$X[k]$ bu sinyallerin birinin istemediğiniz gürültü olduğu varsayılırsa, bu denklem üzerindeki günlük işlemi çarpma gürültüsünü, umarım filtrelenebilen (?) Toplayıcı gürültüye dönüştürür.$X[k] = A[k]*B[k]$

5. Şimdi son adım, değiştirilmiş ' nizin bir DCT'sini yukarıdan almaktır (ancak değiştirildi). Sonra bu nihai sonucun genliklerini alırsınız ve bunlar sizin MFCC'lerinizdir. Yüksek frekans değerlerini atmakla ilgili bir şey okudum.$X[k]$

Bu adamların adım adım nasıl hesaplanacağını gerçekten irdelemeye çalışıyorum ve açıkça bazı şeyler yukarıdan kaçıyor.

Ayrıca, "filtre bankaları" (temelde bant geçiren filtreler dizisi) kullandığınızı duydum ve bu orijinal sinyal kareleri yapmak anlamına gelir bilmiyorum, ya da belki FFT sonra kareleri yapmak?

Son olarak, 13 katsayısı olan MFCC'lerde gördüğüm bir şey var mı?

Adım adım...

1. ve 2 . Doğru. Çerçevelerin genellikle örtüştüğüne dikkat edin, örneğin, çerçeve 0, 0 ila 440 arası örneklerdir; çerçeve 1, 220 ila 660 arasındaki numunelerdir; çerçeve 2, 440 ila 880 arası örneklerdir ... Ayrıca , çerçevedeki örneklere bir pencere işlevinin uygulandığına da dikkat edin.

3 . Fourier dönüşümü her çerçeve için yapılır. Bunun arkasındaki motivasyon basittir: bir konuşma sinyali zamanla değişir, ancak kısa segmentler üzerinde sabittir. Her kısa segmenti ayrı ayrı analiz etmek istiyorsunuz - çünkü bu segmentlerde sinyal birkaç katsayı ile verimli bir şekilde tanımlanabilecek kadar basittir. "Merhaba" diyen birini düşünün. Tüm sesleri aynı anda analiz ederek tüm fonemlerin tek bir spektrumda daraltılmasını (FFT geçici bilgileri daraltır) görmek istemezsiniz. Kelime aşama aşama tanımak için "hhhhheeeeeeeeeeelloooooooooo" görmek istiyorsanız, bu yüzden kısa bölümlere ayrılmalıdır.

4 . "Mel ölçeğine eşleme" yanıltıcıdır ve muhtemelen bu yüzden kafanız karışmaktadır. Bu adım için daha iyi bir açıklama şöyledir: "Sinyal enerjisini, erimiş ölçekli frekanslara ayarlanmış bir filtre kümesiyle hesaplayın". İşte böyle yapılır. Biz göz önünde frekansları (yaygın olarak kullanılan bir değerdir , N = 40 , 20 Hz (duyma aralığının alt) ve Nyquist frekansı arasında eşit mel skalasına göre aralıklı). Pratik örnek: Sinyal 8kHz'de örneklenmiştir ve 40 kutu istiyoruz. 4kHz (Nyquist) 2250 mel olduğu için, filtre bankası merkez frekansları: 0 mel, 2250/39 mel, 2 x 2250/39 mel. 2250 mel.$N$$N = 40$

Bu frekanslar tanımlandıktan sonra, bu frekansların her birinin etrafında FFT büyüklüklerinin (veya enerjilerinin) ağırlıklı bir toplamını hesaplarız.

12 kutuya sahip bir filtre bankasını temsil eden aşağıdaki resme bakın:

8. bölmenin merkezi frekansı 2kHz civarındadır. 8. bölmedeki enerji yaklaşık 1600 ila 2800 Hz arasındaki ağırlıklı FFT enerjilerinin toplanmasıyla elde edilir - ağırlık 2kHz civarında zirveye ulaşır.

Uygulama notu: Bu ağırlıklı toplamlar tek bir işlemle yapılabilir - bir "filtre bankası matrisinin" FFT enerji vektörü ile matris çarpımı.

Bu aşamada, FFT spektrumunu, her biri farklı bir frekans aralığına karşılık gelen 40 (çizimde 12) enerji değeri kümesine "özetledik". Bu değerlerin günlüğünü alıyoruz.

$K$$K = 13$