Değişken seçimi ve Model seçimi

Değişken seçiminin model seçiminin bir parçası olduğunu anlıyorum. Peki, model seçimi tam olarak nelerden oluşur? Aşağıdakilerden daha fazla mı?

1) modeliniz için bir dağıtım seçin

2) açıklayıcı değişkenleri seçer,?

Bunu soruyorum çünkü Burnham & Anderson: AIC vs BIC, model seçiminde AIC ve BIC hakkında konuştukları bir makale okuyorum . Bu modeli okuduğumda 'model seçimini' değişken seçim 'olarak düşündüğümü fark ediyorum (ref. Yorumlar BIC gerçek bir model bulmaya çalışıyor mu? )

KL-Information 12 modellere karşı çizildiğinde, artan derecelerde "genelliğe" sahip 12 modelden bahsettikleri makaleden bir alıntı ve bu modeller, "konik etkiler" (Şekil 1) göstermektedir:

FARKLI FELSEFELERİ VE HEDEF MODELLERİ sürece BIC hedef AIC için hedef modele göre daha genel bir modeldir Buna rağmen ..., en sık BIC tarafından burada seçilen modelin Model 7 daha az genel olacaktır n çok büyüktür. Model 5 veya 6 olabilir. (Literatürdeki sayısız makale ve simülasyondan) koniklik etkileri bağlamında (Şekil 1), AIC'nin BIC'den daha iyi performans gösterdiği bilinmektedir. Bu kişinin gerçek veri analizinin bağlamıysa, AIC kullanılmalıdır.

Nasıl BIC olabilir hiç anlamıyorum modeli seçiminde AIC daha karmaşık bir model seçin! "Model seçimi" spesifik olarak nedir ve BIC özellikle AIC'den daha "genel" bir model seçtiğinde?

$2ln(N)k$ $2k$

DÜZENLE :

Açıklamalarda bir tartışmadan diğerine göre AIC veya BIC tercih için herhangi bir neden var mı? yorumlarda @Michael Chernick ve @ user13273 arasında küçük bir tartışma görüyoruz, bu da bunun önemsiz olmayan bir şey olduğuna inanmamı sağlıyor:

Bu tartışmayı "özellik" seçimi veya "ortak değişken" seçimi olarak adlandırmanın daha uygun olduğunu düşünüyorum. Bana göre model seçimi, hataların dağılımının, bağlantı fonksiyonunun biçiminin ve ortak değişkenlerin biçiminin belirlenmesini içeren çok daha geniştir. AIC / BIC hakkında konuştuğumuzda, genellikle ortak değişkenlerin seçimi hariç, model yapının tüm yönlerinin sabit olduğu durumdayız. - user13273 Ağu 13 '12, 21:17

Belirli ortak değişkenlerin bir modele dahil edilmesine karar vermek, genel olarak model seçimi terimine göre değişir ve başlıkta, modelde hangi modelin değişkenlerini / parametrelerini dahil edeceğine karar veren bir dizi kitap vardır. - Michael Chernick 24 '12 Ağustos 14:44

— Erosennin
kaynak

İyi soru! Çözümün en azından bir kısmı, bu makalenin terminolojisinde BIC'nin "hedefi" ni - çok büyük bir örneklem büyüklüğü ile seçeceği gerçek model - ve belirli bir örneklemle seçtiği model arasında ayrım yapmaktır. boyut. O zaman, artan bir hayır ile iç içe bir model dizisi göz önüne alındığında, bir çelişki yoktur. parametreler, BIC hedefinin 9 parametreli model olduğunu söyleyerek, orta örneklem boyutunda BIC 4 parametreli modeli ve AIC 6

— olanı seçer

@Scortchi: İyi örnek, ancak iç içe geçmiş modellerden bahsederken hedef model kavramı tamamen gereksiz değil mi? Bağlam bir dizi iç içe geçmiş modelse (o zaman değişken seçiminden bahsediyoruz): BIC daha karmaşık bir hedef modele sahip olabilir , ancak asla AIC'den daha karmaşık bir model seçmez. Diğer herhangi bir bağlamda (model seçiminden bahsediyoruz) (büyük örneklem büyüklüğü ile) makale, BIC'nin AIC'den daha karmaşık ("genel") bir hedef model seçeceğini iddia ediyor. Bunun özel olarak nasıl gerçekleştiği hala net değil.

— Erosennin

@Erosennin, bu genel sorunuza bir cevap bulmayı hiç başardınız mı?

— zipzapboing

Bazen modelciler değişken seçimini model geliştirmede farklı bir adıma ayırırlar. Örneğin, önce keşif analizi yapacak, akademik literatürü ve endüstri uygulamalarını araştıracak, daha sonra aday değişkenlerin bir listesini oluşturacaklardı. Bu adım değişken seçimi olarak adlandırılırlar .

y_{i} = \sum_{j_{m}} X_{i j_{m}} β_{j_{m}} + ε_{i},

$y_i=\sum_{j_m} X_{ij_m}\beta_{j_m}+\varepsilon_i,$

j_{m}

$j_m$

j

$j$

m

$m$

m

$m$

Bu, makine öğreniminde insanların değişkenler bulduklarında özellik mühendisliği hakkında nasıl konuştuklarına benzer . Özellikleri LASSO ya da bu özellikleri (değişkenler) kullanarak bir model oluşturduğunuz benzer çerçevelere bağlarsınız. Bu bağlamda, değişken seçimini ayrı bir adıma ayırmak mantıklıdır, çünkü algoritmanın değişkenler için doğru katsayıları seçmesine izin verir ve herhangi bir değişkeni ortadan kaldırmazsınız. Kararınız (hangi değişkenin modele girdiği ile ilgili olarak) değişken seçim adımında izole edilir, daha sonra geri kalanı uygun algoritmaya bağlıdır.

$m$

— Aksakal
kaynak