Önceden yeterince seçilmişse sırt regresyonunun posterior dağılımın ortalaması olarak türetilebileceğini duydum. Öncekine göre regresyon katsayıları üzerinde belirlenen kısıtlamaların (örneğin, 0 civarında standart normal dağılımlar) sezgisi aynı mı / katsayıların kare büyüklüğünde ayarlanan cezayı değiştiriyor mu? Bu denkliğin elde edilebilmesi için öncekinin Gauss olması gerekir mi?
Yanıtlar:
Hayır, diğer önceliklerin mantıklı olarak diğer cezalarla ilişkili olduğu anlamında. Genel olarak, aşırı sığmayı / aşırı yorumu azaltmak için sıfıra yakın daha fazla kütle ( ) istiyorsunuz . Ridge ikinci dereceden (L2, Gauss) bir cezadır, kement bir(L1, Laplace veya çift üstel dağılım) cezası. Diğer birçok ceza (öncelik) mevcuttur. Bayes yaklaşımı cezalandırılmış maksimum olabilirlik tahmini (sırt, kement, vs.) verir, oysa bir katı yorumunu (ve katı güvenilir aralıklara) üretme avantajına sahiptir frequentist yaklaşım biraz karışık olduğu için,-değerleri ve yorumlamak zordur güven aralıkları önyargılı (sıfıra doğru küçültülmüş) tahmin ediciler tarafından.
İki puan:
Çok değişkenli normal bir önceki ve çok değişkenli normal olasılık durumunda, posteriorun çok değişkenli normal olduğu ve bununla birlikte uygun şekilde seçilmiş bir ridge parametresi için sırt regresyon tahmini olduğu doğrudur.
Bunun kanıtı, önceliğin ve olasılığın özel biçimine bağlıdır ve daha genel öncelikler veya olasılık işlevleri için çalışmaz.