Sinir ağımı sinüs dalgalarını tahmin etmede nasıl daha iyi hale getirebilirim?

İşte bir göz atın: Egzersiz verilerinin nerede bittiğini tam olarak görebilirsiniz. Egzersiz verileri $-1$ için .$1$

Keras ve tanh aktivasyonlu 1-100-100-2 yoğun bir ağ kullandım. Sonucu p ve q olmak üzere iki değerden p / q olarak hesaplarım. Bu şekilde, sadece 1 değerden küçük herhangi bir sayı boyutu elde edebilirim.

Lütfen hala bu alanda yeni başlayan biriyim, bu yüzden bana iyi davran.

İleri besleme ağı kullanıyorsunuz; diğer cevaplar, FFNN'lerin eğitim verisi aralığının ötesinde ekstrapolasyonda mükemmel olmadığı doğrudur.

Bununla birlikte, veriler periyodik bir kaliteye sahip olduğundan, sorun bir LSTM ile modellenmeye uygun olabilir. LSTM'ler, diziler üzerinde çalışan ve daha önce gördükleri şey hakkında bir "belleğe" sahip olan çeşitli sinir ağı hücresidir. Bu kitap bölümünün özeti, LSTM yaklaşımının periyodik problemlerde nitelikli bir başarı olduğunu göstermektedir.

Bu durumda, eğitim verileri bir dizi tuple ve bazı n ve i için yeni girişler x i + 1 … x i + n için doğru tahminler yapma görevi olacaktır.$(x_i, \sin(x_i))$$x_{i+1} \dots x_{i+n}$$n$$i$ endeksler bazı artan sıra. Her bir giriş dizisinin uzunluğu, kapladıkları aralığın genişliği ve aralıkları size kalmış. Sezgisel olarak, 1 periyodu kapsayan düzenli bir ızgaranın başlamak için iyi bir yer olmasını beklerdim, eğitim sekansları bir süre ile sınırlı olmaktan ziyade çok çeşitli değerleri kapsar.

(Jimenez-Guarneros, Magdiel ve Gomez-Gil, Pilar ve Fonseca-Delgado, Rigoberto ve Ramirez-Cortes, Manuel ve Alarcon-Aquino, Vicente, "Bir LSTM Sinir Ağı Kullanarak Sinüs Fonksiyon Uzun Vadeli Tahmin" de Nature- Hibrit Akıllı Sistemlerden Esinlenen Tasarım )

Yapmak istediğiniz şey bunun gibi basit periyodik fonksiyonları öğrenmekse, Gauss Süreçlerini kullanmayı düşünebilirsiniz. GP'ler, uygun bir kovaryans işlevi belirterek etki alanı bilginizi bir ölçüde güçlendirmenize olanak tanır; bu örnekte, verilerin periyodik olduğunu bildiğiniz için, periyodik bir çekirdek seçebilirsiniz, daha sonra model bu yapıyı tahmin eder. Resimde bir örnek görebilirsiniz; burada, gelgit yüksekliği verilerine uymaya çalışıyorum, bu yüzden periyodik bir yapıya sahip olduğunu biliyorum. Periyodik bir yapı kullandığım için, model bu periyodikliği (az ya da çok) doğru şekilde tahmin ediyor. Nöral ağları öğrenmeye çalışıyorsanız, bu gerçekten alakalı değil, ancak bu el mühendisliği özelliklerinden biraz daha hoş bir yaklaşım olabilir. Bu arada, sinir ağları ve gp'ler teoride yakından ilişkilidir,

GP'ler her zaman yararlı değildir çünkü sinir ağlarından farklı olarak, büyük veri kümelerine ve derin ağlara ölçeklendirmek zordur, ancak bunun gibi düşük boyutlu sorunlarla ilgileniyorsanız, muhtemelen daha hızlı ve daha güvenilir olacaktır.

(resimde, siyah noktalar eğitim verisi ve kırmızı hedeflerdir; tam olarak doğru olmasa da, modelin periyodikliği yaklaşık olarak öğrenir. Renkli bantlar, modelin güven aralıklarıdır. öngörü)

Yapay sinir ağları da dahil olmak üzere makine öğrenme algoritmaları, rastgele işlevlerin yaklaşık değerlerini öğrenmeyi öğrenebilir, ancak yalnızca yeterli eğitim verisi yoğunluğunun olduğu aralıklarda.

İstatistik tabanlı makine öğrenme algoritmaları, enterpolasyon gerçekleştirirken en iyi sonucu verir - eğitim örneklerine yakın veya aralarındaki değerleri tahmin eder.

Eğitim verilerinizin dışında, ekstrapolasyonu umuyorsunuz. Ama bunu başarmanın kolay bir yolu yok. Sinir ağı asla analitik olarak bir işlevi öğrenmez, sadece yaklaşık olarak istatistiklerle - bu neredeyse tüm denetimli öğrenme ML teknikleri için geçerlidir. Daha gelişmiş algoritmalar, yeterince örnek (ve modeldeki serbest parametreler) verildiğinde seçilen bir işleve keyfi olarak yaklaşabilir, ancak yine de bunu yalnızca sağlanan eğitim verileri aralığında yapar.

Ağın (veya diğer ML'nin) egzersiz verilerinizin aralığı dışında nasıl davrandığı, kullanılan etkinleştirme işlevleri de dahil olmak üzere mimarisine bağlı olacaktır.

$\sin$$\text{sin}(x), \text{sin}(2x+\pi/4)$$\sin$

Bazı durumlarda, @Neil Slater'ın özelliklerinizi periyodik bir işlevle dönüştürmeye yönelik önerilen yaklaşımı çok iyi sonuç verir ve en iyi çözüm olabilir. Buradaki zorluk, periyodu / dalga boyunu manuel olarak seçmeniz gerekebilmesidir ( bu soruya bakın ).

Periyodikliğin ağa daha derinden gömülmesini istiyorsanız, en kolay yol bir / daha fazla katmanda aktivasyon işleviniz olarak sin / cos kullanmaktır. Bu makale periyodik aktivasyon fonksiyonlarıyla başa çıkma potansiyel zorluklarını ve stratejilerini tartışmaktadır.

Alternatif olarak, bu makale ağın ağırlıklarının periyodik bir fonksiyona bağlı olduğu farklı bir yaklaşım benimsemektedir. Makale ayrıca daha esnek oldukları için sin / cos yerine spline kullanılmasını önermektedir. Bu, geçen yıl en sevdiğim makalelerden biriydi, bu yüzden yaklaşımını kullanmasanız bile okumaya (veya en azından videoyu izlemeye) değer.

Yanlış bir yaklaşım izlediniz, sorunu çözmek için bu yaklaşımla hiçbir şey yapılamaz.

Sorunu çözmenin birkaç farklı yolu vardır. En açık olanı özellik mühendisliği ile önereceğim. Zamanı doğrusal bir özellik olarak tıkamak yerine, T = 1 modülünün geri kalanı olarak koyun. Örneğin, t = 0.2, 1.2 ve 2.2'nin tümü t1 = 0.1 vb. Bir özellik haline gelecektir. T dalga süresinden daha büyük olduğu sürece, bu işe yarayacaktır. Bu şeyi ağınıza takın ve nasıl çalıştığını görün.

Özellik mühendisliği önemsizdir. Satış görevlilerinin tüm girdilerinizi ağa döktüğünüzü iddia ettikleri AI / ML'de bu eğilim var ve bir şekilde onlarla ne yapacağınızı anlayacak. Elbette, örneğinizde gördüğünüz gibi, ama sonra kolayca bozulur. Bu, en basit durumlarda bile iyi özellikler oluşturmak için ne kadar önemli olduğunu gösteren harika bir örnektir.

Ayrıca, umarım bunun özellik mühendisliğinin en kaba örneği olduğunu fark edersiniz. Sadece onunla ne yapabileceğiniz hakkında bir fikir vermek.