Hangi matematiksel ses modeli (timbral olarak karmaşık) polifoni içindeki notaların tek tek perdesini değiştirmeyi mümkün kılabilir?


24

Sorum şu: Polifonik sesin hangi matematiksel modeli, polifonik bir akustik müzik enstrümanının çok kanallı, tek kanallı bir ses kaydında bireysel notaların değiştirilmesini (yani ses perdesini değiştirmeyi) mümkün kılabilir? 'Çok sesli seste notları değiştirerek' demekle , celeony'nin Melodyne yazılımındaki ' Doğrudan Not Erişimi ' özelliği ile ses düzenleme gibi bir şey yapmaktan bahsediyorum.

Wikipedia'ya göre ne Melodyne bir müzikal akustik (ve dolayısıyla timbrally kompleks) enstrüman üzerinde oynanan tek bir satır melodinin ses sinyalini olduğunu modellemek için kullandığı Henning Thielemann başlıklı 'onun kağıt tanımladığı gibi bir şey monofonik sesleri Untangling faz ve zaman Ancak' Çok sesli müzik aletlerinin ses sinyallerinin modellerine referans bulamıyorum; Youtube’dan Peter Neubacker’ın Youtube’una yapılan bir röportaja göre (aşağıda yazılı olarak yazılmıştır), Melodyne’nin polifonik ses düzenleme ile uğraşma özelliği Thielemann’ın tarif ettiği gibi değil.

Başka bir youtube klibinden bir ipucu, Neubacker'in modelinin yalnızca bir KIND enstrümanının ses kaydıyla daha iyi çalıştığıdır (yani sadece piyano, sadece gitar, sadece teller, sadece rüzgarlar, vb.). Başka bir ipucu, bir notun sadece perdesini kaydırma yeteneğini değil aynı zamanda (başlama ve bitiş) zamanlamasını da değiştirme yeteneğini gösteren başka bir kliptir .


Aşağıda, 'polifonik materyallerin farklı bir yaklaşım gerektirdiğini' belirten youtube videosunun transkripti bulunmaktadır (22: 00'den itibaren izlemek için vaktiniz yoksa).

  • Melodyne'nin ortaya çıktığı soru: [el taşla işaret ederek] bunun gibi 3 boyutlu bir formdan nasıl bir ses elde edebilirim? Bu sayede ses sürekli zamana olan bağımlılığından kurtulabilir mi? Bu heykel aslında bundan ortaya çıktı ... Bu bir plastik parçası ... Bu doğrudan müzikal veriden elde edildi. Bu nesne bu notu [lute'da bir not alıyor]. Soldan sağa doğru en iyi şekilde görselleştirilir. Zaman bu yönde ilerler (soldan sağa işaret eder). Ve bu büyüklüktür (parmak karşıt başparmak ile irili ufaklı). Çevirirsem, herhangi bir durumda bu sesin tınısını temsil eder. Burada açıkça göreceksiniz ki, biraz üçgen olan bir yapı (heykelin altındaki kesiti işaret ediyor); çünkü bu seste

    Melodyne henüz var olmadığından ve sadece sesin bu şekle çevrilmesini deniyordum, neredeyse bir yıl boyunca bu sesle çalıştım. ... Bu sesi içte ve dışta ve kalpten biliyorum. Bu aynı zamanda yerel sesin iyi bir gösterimini sağlar. Sadece sesi [fare tıklamasıyla] çalmakla kalmayıp, herhangi bir noktanın sesini de girip, istediğim kadar yavaş veya hızlı bir şekilde hareket ettirebiliyorum. Hatta seste oyalanabiliyorum veya ileri ve geri hareket edebiliyorum, bu yüzden burada bir yeri incelersem ... etrafta dolaşırım. ... On yıl önce yeniydi.

    Son zamanlarda DNA (doğrudan not erişimi) eklendi. Bununla beraber, çok sesli müziği de düzenleyebilirim. Başka bir deyişle, örneğin bir gitar kaydı gibi, aynı anda çıkan tek tek notları düzenleyebilirim. Şimdi küçük bir akor çalıyorsam [ekranda Notları -> Ayrı Notları seç], burada daha önce ayrı varlıklar olarak çaldığım 3 notayı görüyoruz. Tekrar dinleyelim [bilgisayar küçük akor çalıyor]. Ve şimdi sanki parmağımı daha yüksek bir perdeye hareket ettirerek, bu bir notu yükseltebilirim [notu ekranda yukarı sürükleyerek; bilgisayar büyük akor çalıyor]. Ayrılmış ses için, bu notu izole edebilirim ve istediğim anda istediğim zaman yukarı veya aşağı taşıyabilirim.

    Bireysel tonları daha önce karmaşık bir malzeme içinde bu şekilde izole edemeyen neden kimse değildi? Gerçekten bilmiyorum. Bilimde, doğal eğilim basit bir şeyle, örneğin bir sinüs dalgasıyla veya bireysel notlarla başlamak ve ilk önce, yalnızca malzemenin daha karmaşık hale geldiği ya da bütünüyle işleme tabi tutulması gerektiğinin keşfedilmesi gerektiğini analiz etmek. çalışmıyor Benim yaklaşımım farklı. Aslında karmaşık sinyallerle başlıyorum ve sadece daha basit olanlara geri döndüğüm bir şeyi ayrıntılı olarak incelemek istediğimde, ama önce gerçekte gerçekte ne olduğuna dair genel bir izlenimim olmalı.

    Sırrı belki bu ruloda yatıyor mu? Heheh, bu aslında bir tuvalet kağıdı. Aslen taştan ortaya çıkan soru, verilen bir sesi üç boyutlu bir şekle nasıl dönüştürebildiğimdi. Burada, bireyleri, burada bir iki üç ile gösterilen sesin örnekleme değerlerini bir spiral halinde düzenledim. Görünüşe göre eğer noktalar arasında [spirale işaret ederek] noktalar arasında enterpolasyon yaparsanız, ses içindeki bireysel kesitleri temsil eden bir manzara ortaya çıkar [heykelin el hareketi kesitleri].

    Rulo kaç yaşında? 12 yıl. Demek ki bu fikir, bugün gördüklerimizin hepsinin Melodyne'nin baharı. Evet, ama sesi bu şekilde sarmak, artık farklı bir yaklaşım gerektiren polifonik malzemeler için kullanılmayacaktı.


Şimdi zaman yok, ancak Bill Sethares'in Ünsüz ile ilgili çalışmalarını okumak isteyebilirsiniz . Gönderinizi sindirmeye ve önümüzdeki birkaç gün içinde daha eksiksiz cevap vermeye çalışacağım.
Peter K.

Sorunun ne olduğundan emin değilim. Bireysel notları izole etmek ve "sesi sarmak", bir notun harmoniklerinin birbirleriyle aynı hizada olması için bir spektrumun spiral şeklinde sarılmasını düşünmemi sağlıyor : nastechservices.com/Spectrograms.html nastechservices.com/Spectratune.html
Endolit

Yanıtlar:


12

TL; DR? Harmonik kısmi ayrılma için Google Scholar .


İyi bir başlangıç ​​noktası, sinyali sinüs + gürültü (deterministik ve stokastik) bileşenlere ayıran sinüzoidal modelleme teknikleri olabilir. Sinüslerden oluşan deterministik bileşen ikna edici bir şekilde yeniden sentezlenebilir:

http://mtg.upf.edu/files/projectsweb/sms-piano-original.wav

http://mtg.upf.edu/files/projectsweb/sms-piano-deterministic.wav

Sinüsler sinyalden çıkarılır ve gürültülü / stokastik kısım kalır.

http://mtg.upf.edu/files/projectsweb/sms-piano-stochastic.wav

Stokastik kısım, bazı gürültü şekillendirici filtrelerden gürültü koyarak sentezlenir. Bazıları bunu zaman gerginliğinde geçici stokastik özelliklerin korunmasına yardımcı olan bir sinüs + gürültü + geçici modeline genişletmiştir.

https://ccrma.stanford.edu/~jos/sasp/Sines_Noise_Modeling.html

http://mtg.upf.edu/technologies/sms

Bir sinyalin sinüzoidal parametrelerine sahip olduğunuzda, üst üste gelen notların sinüslerini harmonik oranları arayarak ve başlangıç, vb. İle gruplayarak vb. Ayırmak mümkündür.

http://recherche.ircam.fr/equipes/analyse-synthese/lagrange/research/papers/lagrangeIcassp05.pdf

http://dream.cs.bath.ac.uk/software/sndan/mqan.html

Gizli Markov Modelleri , polinomları ve Macaulay-Quatieri bunlardan bazılarıdır. Stokastik artıkları iki notadan ayırma konusunda çok şaşırdım. Melodyne'nin bunu nasıl ele aldığını bilmiyorum.


5

Melodide kullanılan yaklaşım 2 ayrı frekans alanı işlemi gerektirir. İlk olarak, polifonik transkripsiyon teknikleri, polifonik sesin frekans bileşenlerini (standart bir frekans dönüşümünden) nota aktivasyonlarına gruplamak için kullanılır. Başka bir deyişle, en muhtemel not aktivasyonlarına göre grup harmonik altkümeleri. Referanslar ve matematiksel modeller için bu forumdaki "Ters polifonik akor tanıma" yazısına cevabımı görün.

İkinci işlem, yukarıda çıkarılan harmonik altkümelerin frekans alanı adım değiştirmesidir. Emin değilim ama Melodyne'in bunu başarmak için bir faz Vocoder yaklaşımı kullanmasını neredeyse garanti ediyorum. Ayrıca bu tekniği kullanarak zaman germeyi de gerçekleştirebilirsiniz . Riffstation'da bunlara benzer teknikleri kullanıyoruz ve oldukça iyi çalışıyorlar.


3

Bir olasılık, bir istatistiksel örüntü eşleştirme yaklaşımı kullanarak analiz / yeniden sentez olabilir. İlgili cihazların karışımını biliyorsanız veya makul bir şekilde tahmin ederseniz ve beklenen tüm notalar için enstrüman sesleri için şablonlar (başlangıçtaki geçici olaylar, spektrum artı spektral gelişim vb. Dahil) varsa, çok sayıda aklı başında akorun istatistiksel bir eşleşmesini deneyebilirsiniz. en olası polifonik kombinasyonları tahmin etmek için şablon ses kalıplarını kullanan kombinasyonlar. Bu, çok çeşitli "AI" benzeri arama tekniklerinin faydalı olabileceği global minima'lar için oldukça yoğun bir hesaplama olacaktır. Daha sonra çeşitli bireysel akor olasılıklarını alabilir ve zaman içinde en muhtemel polifonik sekansları seçmek için karar teorilerini kullanabilirsiniz.

Ardından tahmini notları alın ve seçtiğiniz kilit adım ve sürede bunları yeniden sentezleyin.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.