Gerçekten * milyon * katsayıları / bağımsız değişkenleri ile çok değişkenli regresyon analizi yapıyor muyuz?

Makine öğrenimi öğrenmek için biraz zaman harcıyorum (özyineleme için özür dilerim :) ve çok değişkenli doğrusal regresyon durumunda, regresyon katsayılarını hesaplamak için doğrudan denklem çözme üzerinde Gradient Descent'i seçme kuralının ilgisini çekemedim.

Temel kural: özellik sayısı (okuma katsayıları / bağımsız değişkenler) veya bir milyonun üzerindeyse, Gradient Descent ile devam edin, başka matris ters hesaplama emtia donanımında oldukça yönetilebilir ve böylece katsayıları doğrudan hesaplamak yeterince iyi performans göstermelidir .$10,000 - 1,000,000$

Hesaplamalı olarak, ödünleşim / kısıtlamalar alıyorum. Ancak istatistiksel açıdan, bu kadar çok katsayı ile modelleri gerçekten hesaplıyor muyuz? Yüksekokuldaki çok değişkenli doğrusal regresyon sınıflarımı hatırlarsam, bağımlı değişken üzerinde çok önemsiz bir etkiye sahip olabilecekleri veya dağılımları veriler hakkında yaptığımız varsayımlara uymayacakları için çok fazla bağımsız değişken kullanmaya karşı uyarıldık. "Çok sayıda IV" düşünmek için fikrimi genişletmiş olsam bile milyonlarca insanın aklına gelmezdi .

Soru (lar):

• Bu gerçekten oluyor mu yoksa teorik bir mesele mi?
• Bir milyon IV'ü analiz etmenin anlamı nedir? Gerçekten, onları görmezden gelmekten ziyade kazanılan bilginin değerinde bu kadar artış sağlıyor mu?
• Ya da başlangıçta neyin yararlı olduğu hakkında hiçbir fikrimiz yok, bu yüzden neyin yararlı olduğunu görmek ve oradan gitmek ve muhtemelen IV setini budamak için lanet regresyonu yürütüyoruz?

Hala sadece biz analiz edebilir, çünkü "her şeyi" gerçekten biz içine atmak gerektiği anlamına gelmez inan çözücü (veya öyle) ve benim geçmiş bazı sorular benzer POVs yansıtmaktadır.

Kursu henüz bitirmedim ve yakında soruyu soruyor olabilirim, ama bunu sadece "Neden" diye düşündüm ve aklımdan çıkarmaya çalışıyorum.

Bu gerçekten oluyor mu yoksa teorik bir mesele mi?

Bilgisayar vizyonu için herhangi bir popüler derin öğrenme modeline bakın. Diyelim ki, alexnet 2048 ve 2048 birimleri arasında yoğun bir bağlantıya sahip, bu 4 milyon katsayı.

Bir milyon IV'ü analiz etmenin anlamı nedir? Gerçekten, onları görmezden gelmekten ziyade kazanılan bilginin değerinde bu kadar artış sağlıyor mu?

Oldukça kategorik verileri (örneğin, internet reklamı verileri) analiz ediyorsanız , modelinizin her kategori (örneğin şehir, sayfa kimliği, site adı, reklam kimliği, kullanıcı kimliği, vb.) 'açıklama' boyutu seçilen ML modeline bağlıdır.

Basit lojistik regresyon bile düzinelerce parametrenin eklenmesini sağlayacaktır (her kategori için bir tane). Çarpanlara ayırma makineleri gibi daha gelişmiş modellerin süreleri daha fazla olacaktır.

Ya da başlangıçta neyin yararlı olduğu hakkında hiçbir fikrimiz yok, bu yüzden neyin yararlı olduğunu görmek ve oradan gitmek ve muhtemelen IV setini budamak için lanet regresyonu yürütüyoruz?

Aslında, bu modellerde takılan parametrelerin çoğu bırakılabilir, ancak önceden bilemezsiniz, bu nedenle makine öğrenimi için hangi parametrelerin önemli olduğunu tanımlama problemini bırakırsınız ve etkili sayıya 'yumuşak sınır' koymak için bazı düzenlemeler uygularsınız . kalacak parametreler.

... ve sanırım bu tür örnekleri daha sonra ML dersinizde bulacaksınız.