LARS tarafından bulunan modelin hangi ortamda kapsamlı arama ile bulunan modelden en çok farklı olmasını beklersiniz?

Biraz daha fazla bilgi; farz et ki

önceden kaç değişken seçeceğinizi ve LARS prosedüründe karmaşıklık cezasını tam olarak 0 katsayısı olmayan birçok değişkene sahip olacak şekilde ayarladığınızı biliyorsunuz,
hesaplama maliyetleri bir mesele değildir (toplam değişken sayısı, örneğin 50'dir),
tüm değişkenlerin (y, x) süreklidir.

Hangi ortamda LARS modeli (yani, LARS uyumunda sıfır olmayan katsayılara sahip değişkenlerin OLS uyumu), aynı sayıda katsayıya sahip olan ancak kapsamlı arama (la regsubsets ()) ile bulunan bir modelden en farklı olurdu?

Düzenleme: Ben 0 'gerçek' katsayıları 0 (ve tüm özellikleri güçlü bir şekilde birbiriyle ilişkili olan) 10 değişken dışında standart bir gaussian çizilmiş gerçek katsayıları ile 50 değişkenler ve 250 gözlem kullanıyorum. Seçilen iki değişken grubu arasındaki farkların çok az olması nedeniyle bu ayarlar kesinlikle iyi değildir. Bu gerçekten en fazla farklılığı elde etmek için ne tür bir veri yapılandırmasının simüle edilmesi gerektiği hakkında bir sorudur.

regression model-selection

— user603
kaynak

Yanıtlar:

İşte LARS algoritmasının açıklaması: http://www-stat.stanford.edu/~tibs/lasso/simple.html Biraz bunun üzerine atlamak olabileceğini tahmin girişim olacaktır böylece yoksaydıklarınız Regresör arasındaki korelasyon içinde Çoklu bağlantı durumunda uyum.

— Alex
kaynak

sorumu motive eden şey bu. Vif'in en büyük değerinin 30'u aştığı 50 değişkenli ayarları simüle ettim ve iki yaklaşım arasında hala çok az fark görüyorum (örneğin, seçilen modellerin R ^ 2 açısından).

— user603

Ben kendimi stepAIC ve lars ile farklı cevaplar buldum ve benim sorun grup LASSO ile tedavi olmak olduğunu hayal ediyorum - bu tüm matrisin VIF değil, bir dizi ilişkili değişken kümeleri ile ilgili.

— Alex

İnterresting ... böyle verileri nasıl üretiyorsunuz? (yani korelasyonlu değişken kümeleri ile)

— user603

İçinde korelasyon olan birkaç bağımsız grubu bir araya getirin. Kendim bir dizi marka hakkında sorulan bir sürü aynı sorum var - insanlar tercih ettikleri markayı sevme ve başkalarını sevmeme eğilimindedir.

— Alex

Örnek sayısı ile ilgili olarak ne kadar fazla özelliğe sahip olursanız, LARS'a kıyasla exaustive arama yöntemiyle daha fazla uyma olasılığınız daha yüksektir. LARS'ta kullanılan ceza terimi, tek bir düzenlenme parametresi ile endekslenen, giderek karmaşıklaşan modellerin iç içe geçmiş bir yapısını da beraberinde getirir, bu nedenle LARS ile özellik seçiminin "serbestlik derecesi" oldukça düşüktür. Eksaratif arama için, özellik başına etkili bir (ikili) serbestlik derecesi vardır; bu, ekstatif aramanın, verilerin rastgele örneklenmesi nedeniyle özellik seçim ölçütündeki rastgele değişkenliği daha iyi kullanabileceği anlamına gelir. Sonuç olarak, "hipotez sınıfı" daha büyük olduğu için, exaustive arama modelinin özellik seçme ölçütüne büyük ölçüde uyması muhtemeldir.

— Dikran Keseli
kaynak

Cevabım sorumla ilgisiz görünüyor. Açıkça söylemek gerekirse: LARS tarafından aktif olarak seçilen değişkenlerin alt kümesinin, kapsamlı arama ile seçilenlerden en farklı olacağı durumların oluşturulmasıyla ilgileniyorum, bu, örneğin, LARS modeli arasındaki R ^ 2 arasındaki farkla ölçülür. ve aynı sayıda aktif değişkenli kapsamlı arama modeli . Bu farkın büyük olacağı herhangi bir düşmanı düşünebilir misiniz? Cevabınızı bu terimlerle yeniden ifade edebilir misiniz?

— user603

Cevabım doğrudan sorunuzla ilgili. Aşırı uydurma derecesi sadece özelliklerin sayısı ile değil, ağırlıkların değerleri ile kontrol edilir. Böylece daha fazla özellik kullanmadan fazla takmak mümkündür. LARS, ağırlıkların büyüklüğüne bir ceza verir, bu nedenle sadece büyük kayıp ağırlıkları pahasına kare kaybını azaltan özellikler seçmez, bu yüzden fazla takmaya daha az eğilimlidir. Eksaratif arama yöntemleri temel olarak aşırı uydurma için bir reçetedir, bu nedenle aşırı uydurmanın muhtemel olduğu durumlarda çok farklı çözümler elde edersiniz.

— Dikran Marsupial

Tamam, ne demek istediğimi anlıyorum: orijinal sorumda göze çarpan bir şeyden geliyor (ve umarım şimdi daha açık hale getirdik). Ben gerçekten elma burada elma (yani seçilen modeller) veya başka bir deyişle, LARS tarafından seçilen bu değişkeni kullanarak OLS (R ^ 2) ve bunları kullanarak OLS uygun (R ^ 2) kapsamlı arama ile seçilen değişkenler. Doğrudan LARS katsayılarını kullanmıyorum ....

— user603 09:53 de

Dik değil, bir modelin farklı olmadan diğerinden daha iyi olması olası değildir. Aşırı uydurmanın muhtemel olduğu durumlarda, arama tabanlı bir modelin dengesiz olması muhtemeldir, yani farklı bir 500 örnek toplarsanız, farklı bir özellik kümesi elde etme olasılığınız yüksektir. Öte yandan LARS'ın daha kararlı olması muhtemeldir. 50 özelliğin ve 500 numunenin aşırı sığmaya neden olup olmayacağı veri kümesinin doğasına bağlıdır, ancak kesinlikle mümkündür. Kapsamlı arama, bu örneğe özgü değişkenliği açıklayan özellikleri seçmekle yükümlüdür; LARS daha az.

— Dikran Marsupial

Bunu neden yapmak istediğini açıklayabilirsen yardımcı olabilir . Bakmanız gereken şeyin, gerçek modelin ağırlıklarının ve verilerin dağılımının büyüklükleri olduğundan şüpheleniyorum. Cezalandırılmış regresyon modelleri (LASSO, LARS, Elaris net, sırt regresyonu), ağırlıkların beklenen dağılımında bir önceliğe sahiptir, bu nedenle bunun geçersiz olduğu bir veri kümeniz varsa, başlamak için iyi bir yer olabilir.

— Dikran Marsupial