Kategorik veriler için cezalandırılmış yöntemler: düzeyleri bir faktörde birleştirme

Cezalandırılmış modeller, parametre sayısının örnek boyutuna eşit veya daha büyük olduğu modelleri tahmin etmek için kullanılabilir. Bu durum, kategorik veya sayım verilerinin büyük seyrek tablolarının log-lineer modellerinde ortaya çıkabilir. Bu ayarlarda, bu seviyelerin diğer faktörlerle nasıl etkileşime girdiği açısından ayırt edilemediği bir faktörün seviyelerini birleştirerek tabloları daraltmak genellikle arzu edilir veya yararlıdır. İki soru:

Her faktördeki seviyelerin çökebilirliğini test etmek için LASSO veya elastik ağ gibi cezalandırılmış modeller kullanmanın bir yolu var mı?
İlk sorunun cevabı evet ise, bu, seviyelerin çöküşü ve model katsayılarının tahmini tek bir adımda gerçekleşecek şekilde ayarlanabilir mi ve olmalıdır?

— andrewH
kaynak

Bu makale, doi.org/10.1177/1471082X16642560 , son on yılda bu alanda neler yapıldığına dair güzel bir genel bakış sunmaktadır.

— Jorne Biccler

Not: Aşağıda tartıştığım ceza @JorneBiccler'ın bağlantısındaki denklem 3.4. (Bu sorunun daha önce dikkate alındığını görmek ilginç!)

— user795305

Önişleme kategorik değişkenlerinin birçok değerle

— kjetil b halvorsen

Bunu, kendisinden önceki bir sorunun kopyası olarak nasıl adlandırabiliriz?

— Michael R. Chernick

Bu mümkün. Bunu başarmak için kaynaşmış kementin bir varyantını kullanabiliriz .

Tahminciyi kullanabiliriz

\hat{β} = \arg min_{β} \frac{- 1}{n} Σ_{ben = 1}^{n} (y_{ben} β^{T} x_{ben} - e^{β^{T} x_{ben}}) + \underset{faktörler g}{Σ} λ_{g} (\underset{j \in g}{Σ} | β_{j} | + \frac{1}{2} \underset{j, k \in g}{Σ} | β_{j} - β_{k} |) .

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

Not bu log-lineer zarar fonksiyonudur modelleri. $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

Bu, bir grup içindeki katsayıların eşit olmasını teşvik eder. Bu katsayı eşitliği , faktörün ve seviyelerinin birlikte çökmesine eşdeğerdir . Zaman durumunda , bu çöken eşdeğerdir referans seviyesi ile aynı seviyede. Ayar parametreleri sabit olarak ele alınabilir, ancak bu sadece birkaç faktör varsa, bunları ayrı olarak ele almak daha iyi olabilir. $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

Tahmin edici, dışbükey bir fonksiyonun bir minimizeridir, bu nedenle keyfi çözücülerle verimli bir şekilde hesaplanabilir. Bir faktörün çok, çok seviyesi varsa, bu ikili farklılıklar elden çıkacaktır - bu durumda, olası çöküş modelleri hakkında daha fazla yapı bilmek gerekli olacaktır.

Tüm bunların tek bir adımda gerçekleştirildiğini unutmayın! Bu, kement tipi tahmincileri bu kadar havalı yapan şeyin bir parçasıdır!

Bir başka ilginç yaklaşım da yerine . $\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— user795305
kaynak