Çok değişkenli doğrusal regresyon vs sinir ağı?

Bazı durumlarda çok değişkenli doğrusal regresyonlu bir sinir ağına benzer sonuçlar elde etmek mümkündür ve çok değişkenli doğrusal regresyon süper hızlı ve kolaydır.

Yapay sinir ağları hangi koşullar altında çok değişkenli doğrusal regresyondan daha iyi sonuçlar verebilir?

regression multiple-regression neural-networks

— Hugh Perkins
kaynak

Yanıtlar:

Sinir ağları prensipte doğrusal olmayan regresyonda dönüşümleri (spline'lar vb.) Kullanarak açıkça modellemeniz gereken lineer olmayanları otomatik olarak modelleyebilir (bkz. Evrensel yaklaşım teoremi ).

Uyarı: Üst üste binme eğilimi, sinir ağlarında, regresyondan daha güçlü olabilir (hatta), hatta gizli katmanlar veya nöronlar eklemek zararsız görünüyor. Bu nedenle, örnek dışı tahmin performansına bakmak için ekstra dikkatli olun.

— S. Kolassa - Monica'yı yeniden kurun
kaynak

Tamam. Sanırım aklımdaki bir soru, girdi verilerimi ikinci dereceden ve kübik terimlerle artırarak benzer davranışı ne ölçüde çoğaltabilirim?

— Hugh Perkins

Aslında, muhtemelen NN'leri uygun bir şekilde dönüştürülmüş regresörleri ile yaklaşık olarak istediğiniz kadar doğrusal bir regresyonda (ve tam tersi) tahmin edebilirsiniz. Kuadratik ve kübiklerden daha iyi bir uygulama, spline'lar olsa da - yürekten Harrell'in "Regresyon Modelleme Stratejileri" ders kitabını tavsiye ederim.

— S. Kolassa - Monica, 27:12

Tamam. Dönüştürülen verilerdeki doğrusal regresyon için egzersiz süresinin daha hızlı olacağını varsaymak mantıklı mıdır yoksa egzersiz süreleri yaklaşık olarak aynı mıdır? Dönüştürülen verilerdeki doğrusal regresyon için çözüm, tek bir küresel maksimumda mı olacak, yoksa sinir ağları için çok fazla yerel minimumda mı olacak? (Düzenleme: Girdilerin nasıl dönüştürüldüğünün önemi yok, doğrusal regresyonun çözümü, tasarım matrisinin sadece bir şeyle çarpılan bir tersi değeridir ve bu nedenle her zaman benzersiz mi yoksa tekil mi?)

— Hugh Perkins

Eğitim süreleri elbette girdi boyutlarına bağlı olacaktır (az sayıda / çok gözlem, az / çok tahmin edici). Doğrusal regresyon, tek bir (sözde) ters (evet, benzersiz / tekilliği dönüştürülmüş regresörlerle bile olsa) içerir, oysa NN'ler tipik olarak yinelemeli bir şekilde eğitilir, ancak yinelemeler matris çevrimlerini içermez, bu nedenle her yineleme daha hızlıdır - genellikle Aşırı uyarılmasını engellemek için tasarlanmış bazı kriterlere dayanarak eğitimi durdurun.

— S. Kolassa - Monica, 27:12

@Yamcha: Benim evrensel yaklaşım teoremi anlayışım, boyutsallığın prensip olarak önemli olmadığıdır. (Tabii ki, bu asimptotik bir sonuçtur. NN için iyi ayarlanmış bir polinom regresyonundan daha iyi olması için korkunç miktarda veriye ihtiyacınız olacağını umardım. Derin Öğrenme gibi konuşmaya başlar ...)

— S. Kolassa - Monica'yı yeniden kurun

Doğrusal regresyondan bahsediyorsunuz. Bu, benzer bir hızlı optimizasyon algoritmasına sahip olan lojistik regresyon ile ilgilidir . Bir sınıflandırma problemi gibi hedef değerler üzerinde sınırlarınız varsa, lojistik regresyonu doğrusal regresyonun bir genelleştirmesi olarak görebilirsiniz.

Yapay sinir ağları, orijinal girişlerdeki lojistik regresyondan kesinlikle daha geneldir, çünkü bu, gizli düğümlü bir atlama katmanı ağına (girişleri çıkışlara doğrudan bağlayan bağlantılara) karşılık gelir . $0$

gibi özellikler eklediğinizde , bu tek bir gizli katmandaki birkaç gizli düğüm için ağırlık seçmeye benzer. Tam olarak bir yazışma yoktur, çünkü sigmoidlerle gibi bir fonksiyonun modellenmesi birden fazla gizli nöron alabilir. Bir sinir ağını eğitirken, daha iyi olma potansiyeline sahip kendi gizli gizli saklı ağırlıklarını bulmasına izin verirsiniz. Aynı zamanda daha fazla zaman alabilir ve tutarsız olabilir. Ekstra özelliklerle birlikte lojistik regresyona bir yaklaşımla başlayabilir ve gizli-giriş ağırlıklarını yavaşça eğitebilirsiniz ve bu sonuçta ilave özelliklerle birlikte lojistik regresyondan daha iyi yapmalıdır. Soruna bağlı olarak, eğitim süresi ihmal edilebilir veya yasaklayıcı olabilir. $x^3$ $1-1$ $x^3$

Bir ara strateji, bir sinir ağı başlatırken ne olduğuna benzer çok sayıda rastgele düğüm seçmek ve gizli giriş ağırlıklarını düzeltmektir. * - Çıkış ağırlıkları üzerindeki optimizasyon doğrusal kalır. Buna aşırı öğrenme makinesi denir . En azından orijinal lojistik regresyon kadar çalışır.

— Douglas Zare
kaynak

"Bir ara strateji, bir sinir ağı başlatırken ne olduğuna benzer çok sayıda rastgele düğüm seçmek ve girdiden gizlenen ağırlıkları düzeltmektir. * -Çıkış ağırlıkları üzerindeki optimizasyon doğrusal kalır." => Bu durumda çözüm için tek bir küresel maksimum olacağını mı demek istiyorsun?

— Hugh Perkins

Rasgele gizli düğümlerin genel rastgele seçimleri için, evet.

— Douglas Zare

[LR, LogR, NN, ELM] için harika post - içerik sağlama. LogR'nin bir atlama katmanı NN olduğu hakkındaki yorumunuz, belirtildikten sonra açık görünüyor, ancak güzel bir fikir.

— javadba

Doğrusal Regresyon, doğrusal olarak ayrılabilir olan verileri ayırmayı amaçlar, evet, ek üçüncü derece polinomları kullanabilirsiniz, ancak bu şekilde, amaç fonksiyonunun yapısını tanımladığınızdan bu yana sahip olduğunuz verilerle ilgili bazı varsayımları tekrar belirttiniz. Yapay Sinir Ağında. genellikle sahip olduğunuz veriler için doğrusal ayırıcılar oluşturan girdi katmanına ve gizli katmanı VE bazı sınıfları ve son katman OR'lerini tüm bu bölgelere ayıran bölgelere sahip olursunuz. Bu şekilde sahip olduğunuz tüm veriler doğrusal olmayan bir şekilde sınıflandırılabilir, ayrıca tüm bu işlemler dahili olarak öğrenilen ağırlıklar ve tanımlanmış işlevlerle devam eder. Ayrıca, Doğrusal Regresyon için özellik sayısının arttırılması, "boyutluluk laneti" nin aksinedir. Ek olarak, bazı uygulamalar çıktı olarak sabit sayılardan daha olası sonuçlara ihtiyaç duyarlar.

— erogol
kaynak