Spiral şeklinde olan veriler nasıl sınıflandırılır?

Tensorflow oyun alanında uğraşıyorum . Giriş veri setlerinden biri bir spiraldir. Hangi giriş parametrelerini seçersem seçeyim, sinir ağı ne kadar geniş ve derin olursa olsun, spirale sığamıyorum. Veri bilimcileri bu şekildeki verilere nasıl uyuyorlar?

Bu tür bir soruna birçok yaklaşım vardır. En belirgin olanı yeni özellikler yaratmaktır . Gelebileceğim en iyi özellikler koordinatları küresel koordinatlara dönüştürmektir .

Oyun alanında bunu yapmanın bir yolunu bulamadım, bu yüzden bu konuda yardımcı olacak birkaç özellik oluşturdum (günah özellikleri). 500 tekrardan sonra doyurulur ve 0,1 puanda dalgalanır. Bu, daha fazla iyileştirme yapılmayacağını ve büyük olasılıkla gizli katmanı genişletmem veya başka bir katman eklemem gerektiğini gösteriyor.

Gizli katmana sadece bir nöron ekledikten sonra 300 iterasyondan sonra kolayca 0.013 elde etmeniz şaşırtıcı değildir . Benzer bir şey yeni bir katman ekleyerek olur (0.017, ancak önemli ölçüde daha uzun 500 yinelemeden sonra. Ayrıca hataları yaymak daha zor olduğu için sürpriz değil). Büyük olasılıkla bir öğrenme oranı ile oynayabilir veya daha hızlı hale getirmek için uyarlanabilir bir öğrenme yapabilirsiniz, ancak buradaki nokta bu değildir.

İdeal olarak sinir ağları, küresel özellikleri sağlamadan fonksiyonu kendi başına bulabilmelidir. Bazı deneylerden sonra ve dışında hiçbir şeye ihtiyacımız olmayan bir yapılandırmaya ulaşabildim . Bu ağ, oldukça uzun olan yaklaşık 1500 çağdan sonra birleşti. Bu yüzden en iyi yol hala ek özellikler eklemek olabilir ama sadece onlarsız yakınsama hala mümkün olduğunu söylemeye çalışıyorum.$X_1$$X_2$

Hile ile ... thetaolan , olan .$\arctan(y,x)$$r$$\sqrt{(x^2 + y^2)}$

Teorik olarak, ve çalışmalıdır, ancak pratikte, bazen de olsa, bir şekilde başarısız oldular.$x^2$$y^2$

Bu, ilave özellikleri ve modifikasyonu olmayan vanilya Tensorflow oyun alanının bir örneğidir. Spiral için çalışma, bağlı olarak 187 ila ~ 300 Epoch arasındaydı. Lasso Regularization L1 kullandım, böylece katsayıları ortadan kaldırabilirim. Çıktının aşırı uymasını önlemek için parti boyutunu 1 azalttım. İkinci örneğimde veri kümesine biraz gürültü ekledim, sonra telafi etmek için L1'i yükselttim.

Solüsyon yargıya da bir saat sonra ulaşıldı genellikle sadece 100 dönemleri yakınsar .

Evet, orada en düzgün karar sınırına sahip olmadığını biliyorum, ama oldukça hızlı bir şekilde birleşiyor.

Bu spiral deneyden birkaç şey öğrendim:

• Çıkış katmanı, giriş katmanından büyük veya ona eşit olmalıdır . En azından bu spiral probleminde fark ettiğim şey bu.
• İlk öğrenme hızını bu durumda 0,1 gibi yüksek tutun , ardından% 3-5 veya daha az gibi düşük bir test hatasına yaklaştıkça, öğrenme oranını bir çentik (0,03) veya iki azaltın. Bu, daha hızlı yakınlaşmaya yardımcı olur ve küresel minimanın etrafında atlamayı önler.
• Sağ üstteki hata grafiğini kontrol ederek öğrenme hızını yüksek tutmanın etkilerini görebilirsiniz.
• 1 gibi daha küçük parti büyüklükleri için 0,1, model küresel minima etrafında atladıkça birleşmediği için çok yüksek bir öğrenme oranıdır.
• Bu nedenle, yüksek bir öğrenme oranını (0.1) korumak isterseniz, toplu iş boyutunu da (10) yüksek tutun. Bu genellikle yavaş ama pürüzsüz bir yakınsama sağlar.

Tesadüfen bulduğum çözüm Salvador Dali'nin çözümüne çok benziyor .

Daha fazla sezgi veya muhakeme bulursanız lütfen bir yorum ekleyin.