Lojistik regresyon ve sinir ağları arasındaki fark nedir?

Lojistik regresyon ve sinir ağı arasındaki istatistiği olmayan bir kitleye olan farkı nasıl açıklayabiliriz?

Eskiden ne olduğunuzu düşündüğünüzü düşünüyorum ve belki de hala sinir ağları hakkındaki sorunuzda 'çok katmanlı algılayıcılar' olarak anılır. Öyleyse, her şeyi açıklayıcı değişkenlerin bir işlevi olarak karar sınırının şekli hakkında esneklikle açıklarım. Özellikle, bu kitle için bağlantı fonksiyonlarından / kayıt oranlarından vb. Bahsetmiyorum. Sadece bir olayın olasılığının bazı gözlemler temelinde tahmin edildiği fikrine devam edin.

İşte olası bir dizi:

• Kavramsal olarak konuşursak, tahmin edilen bir olasılığın ne olduğunu bildiklerinden emin olun. Tanıdık veriler bağlamında bir değişkenin işlevi olarak gösterin . Lojistik regresyon ve sinir ağları tarafından paylaşılacak karar bağlamını açıklayın.
• Lojistik regresyon ile başlayın. Bunun lineer durum olduğunu belirtiniz ancak ortaya çıkan karar sınırının doğrusallığını, iki açıklayıcı değişkenle birlikte çıkış olasılıklarının bir ısı veya kontur grafiği kullanarak gösteriniz .
• İki sınıfın gördükleri sınıra göre iyi ayrılmayabileceğini ve daha kıvrımlı bir sınır oluşturmak için daha esnek bir modeli motive edebileceğini unutmayın. Gerekirse, bu şekilde iyi ayırt edilebilecek bazı verileri gösterin. (Bu yüzden 2 değişkenle başlıyorsunuz)
• Not Bunu olabilir ekstra terimler, örneğin kareler veya diğer dönüşümler ile orijinal doğrusal modeli zorlaştıran başlar ve belki bu ürettiğini sınırlarını göstermektedir.
• Ama sonra, fonksiyon formunun ne olması gerektiğini önceden bilmediğinizi ve verilerden öğrenmeyi tercih edeceğinizi gözlemleyerek bunları atın. Bu konuda hevesli olduklarında, bunun tam bir genellikte imkansızlığını not edin ve bunun en azından 'dalgalı' olmak yerine en azından 'pürüzsüz' olması gerektiğini, ancak başka türlü veriler tarafından belirlendiğini varsaymaktan mutluluk duyduğunuzu önerin. (Muhtemelen çoktan sadece pürüzsüz sınırları düşündüklerini, tüm yaşamlarını nesirleri anlattıkları gibi düşünün).
• Çıktı olasılığının, gerçek bir katkı kombinasyonundan ziyade orijinal değişken çiftinin ortak bir fonksiyonu olduğu genelleştirilmiş bir katkı modelinin çıktısını gösterin - bu sadece tanıtım amaçlıdır. Önemli olarak, bir daha yumuşak isim verin çünkü bu hoş ve geneldir ve sezgisel olarak tanımlamaktadır. Resimdeki doğrusal olmayan karar sınırını önceki gibi gösterin.
• Bu (halihazırda anonim olan) daha pürüzsüz olduğunu, gerçekte ne kadar pürüzsüz olduğunu kontrol eden bir pürüzsüzlük parametresine sahip olduğuna dikkat edin, açıklayıcı değişkenleri öngörülen olasılığa dönüştüren işlevin düzgünlüğü hakkında önceki bir inanç gibi görünmekte olduğunu belirtin. Belki farklı pürüzsüzlük ayarlarının karar sınırındaki sonuçlarını gösterebiliriz.
• Şimdi sinir ağını bir şema olarak tanıtın. İkinci katmanın sadece bir lojistik regresyon modeli olduğunu, aynı zamanda gizli birimlerde gerçekleşen doğrusal olmayan dönüşümü de işaret edin. İzleyiciye, karar sınırında doğrusal olmayan bir girdiden çıktıya bir başka fonksiyon olduğunu hatırlatın.
• Çok fazla parametreye sahip olduğunu ve bazılarının yumuşak bir karar sınırı oluşturmak için sınırlandırılması gerektiğine dikkat edin - parametrelerin birbirine bağlı ve uzak durmasını sağlayan aynı (kavramsal olarak konuşulan) sayı olarak düzgünlüğü kontrol eden bir sayı fikrini yeniden oluşturun aşırı değerler. Ayrıca, ne kadar çok gizli birime sahipse, o kadar farklı fonksiyonel form türlerini gerçekleştirebileceğini de unutmayın. Sezgiyi sürdürmek için esneklik açısından gizli birimlerden ve pürüzsüzlük açısından parametre kısıtlarından bahsedin (bu karakterizasyonun matematiksel eksikliğine rağmen)
• Öyleyse, işlevsel biçimi hala bilmediğiniz için, onları sınırsız sayıda gizli ünite ekleyerek sonsuz derecede esnek olmak istediğiniz için iddia ederek onları şaşırtın . Bu lavabonun pratik imkansızlığını biraz sonraya bırakın. Ardından bu limitin matematikte alınabileceğini gözlemleyin ve (sözde) böyle bir şeyin nasıl görüneceğini sorun.
• Tekrar daha yumuşak olacağına (daha önce gördükleri gibi bir Gauss süreci; Neal, 1996, ama bu ayrıntı önemli değil) cevap verin. Yine pürüzsüzlüğü kontrol eden bir miktar olduğunu gözlemleyin, ancak başka özel parametreler yok (bu tür şeyleri önemseyen kişiler için entegre).
• Yapay sinir ağlarının, lojistik regresyon modelinin doğrusal olmayan, zorunlu olarak ilave olmayan uzantıları olan sıradan düzleştiricilerin özel, dolaylı olarak sınırlı olduğu sonucuna varılmıştır. Öyleyse, lojistik regresyonun bir sinir ağı modeline eşdeğer olduğu veya pürüzsüzleştirme parametresi ile 'ekstra ekstra pürüzsüz', yani doğrusal olarak ayarlanan daha pürüzsüz olduğu sonucuna varın.

Bu yaklaşımın avantajları, doğru fikri vermek için gerçekten herhangi bir matematiksel ayrıntıya girmenizin gerekmemesidir. Aslında, benzerlikleri ve farklılıkları anlamak için lojistik regresyon veya sinir ağlarını anlamak zorunda değiller.

Yaklaşımın dezavantajı, çok fazla resim yapmak zorunda olmanız ve bunları açıklamak için cebire düşme eğilimine şiddetle karşı çıkmanızdır.

Daha basit bir özet için:

Lojistik regresyon: Düz bir çizgi olan karar sınırlarına yol açan, Sinir Ağının en basit şekli.

Yapay Sinir Ağları: Lojistik regresyon ve ayrıca daha karmaşık karar sınırları oluşturabilen diğer sınıflandırıcıları içeren bir süperset.

(not: Ben bütünleşik çekirdeklerin yardımı olmadan "sade" lojistik regresyondan bahsediyorum)

(başvuru: Andrew Ng, "Bir sinir ağı olarak lojistik regresyon" ve "bir gizli katmanla planar veri sınıflandırması" tarafından yapılan deeplearning.ai kursları)

Bu soruyu tam anlamıyla ele alacağım: İstatistikte geçmişi olmayan biri . Ve o kişiye istatistikte bir arka plan vermeye çalışmayacağım. Örneğin, farkı bir şirketin CEO'su veya bunun gibi bir şeyle açıklamanız gerektiğini varsayalım.

Yani: Lojistik regresyon, kategorik bir değişkeni diğer değişkenler açısından modellemek için bir araçtır. "Diğer" değişkenlerin her birindeki değişikliklerin, ilk değişkendeki farklı sonuçların oranını nasıl etkilediğini öğrenmenin yollarını size sunar. Çıktıyı yorumlaması oldukça kolaydır.

Sinir ağları, bir bilgisayarın, insanları şeyler hakkında nasıl öğrendiklerini belli belirsiz şekillerde örneklerden öğrenmeye çalışmasına izin veren bir dizi yöntemdir. İyi öngörücü olan modellerle sonuçlanabilir, ancak bunlar genellikle lojistik regresyondan çok daha opaktır.

Sinir ağlarını (lojistik aktivasyon fonksiyonları olan) logit fonksiyonlarının ağırlıklı ortalaması olarak düşünebileceğiniz, ağırlıkları kendileri tahmin edilebileceği öğretildi. Çok sayıda günlük seçerek, herhangi bir işlevsel forma sığabilirsiniz. Econometric Sense blog yazısında bazı grafik sezgiler var .

Diğer cevaplar harika. Özel bir sinir ağları mimarisi olarak lojistik regresyon ve çok sınıflı lojistik regresyon (aka maxent, multinomial lojistik regresyon, softmax regresyon, maksimum entropi sınıflandırıcı) hakkında düşünebileceğinizi gösteren bazı resimler ekleyeceğim.

Gönderen Sebastian Raschka, Michigan State University, KDNuggets üzerinde :

Çok sınıflı lojistik regresyon için birkaç örnek:

Http://www.deeplearningbook.org/ bölüm 1'den benzer bir örnek :

Ve TensorFlow derslerinden bir tane daha :

İçinde Ör Caffe , sen lojistik regresyon uygulayacağını şöyle :

Seyircinin anladığı karmaşık ancak somut bir problem örneği kullanırdım. Yorumlamaları eğitilmemiş, ancak belirli anlamları olan gizli düğümleri kullanın.

Eğer satranç pozisyonları kullanırsanız (beyazın kazanıp kazanmayacağını öngörürsünüz), girdilerin tahtanın temsili olmasına izin verebilirsiniz (passant veya kale hareketi yapıp yapamayacağınızı görmezden gelin). $64 \times 12$ Her kare üzerinde her türden bir parça olup olmadığını gösteren ikili girişler.

Doğrusal regresyon, h4'te beyaz bir şövalyenin olmasının ne kadar iyi olduğunu belirler. Hiç iyi olmadığı açık olmayabilir, ama eğer h4'de ise ele geçirilmedi, bu muhtemelen diğer düşüncelere ağır basmaktadır. Doğrusal regresyon muhtemelen taşların kaba değerlerini kurtarır ve taşlarınızı tahtanın ortasına doğru ve rakibin tahtasının yanında bulundurmanızın daha iyi olacağı anlamına gelir. Doğrusal regresyon, b2'deki kraliçenizin, eğer karşı kral a1 ise aniden daha değerli olduğu gibi kombinasyonlara değer veremez.

Bir sinir ağı, "maddi avantaj," "kara kral güvenliği", "merkezin kontrolü", "d dosyasındaki her iki kale", "" izole kraliçe kale piyonu "veya" bishop gibi kavramlar için gizli düğümlere sahip olabilir. hareketlilik." Bunlardan bazıları sadece tahta girdilerinden hesaplanabilirken, diğerleri ikinci veya daha sonra gizli bir katman içinde olmak zorunda kalabilir. Yapay sinir ağı bunları pozisyonun nihai değerlendirmesine girdi olarak kullanabilir. Bu kavramlar bir pozisyonu değerlendirmek için bir uzmana yardımcı olur, bu nedenle sinir ağı, doğrusal bir regresyondan daha doğru değerlendirme yapabilmelidir. Ancak, sinir ağını oluşturmak için daha fazla çalışma gerekir, çünkü yapısını seçmek zorundasınız ve eğitmek için daha birçok parametresi var.