Düzenleme yöntemleri ile ilgili en önemli “erken yazılar” nelerdir?

Birkaç cevapta CrossValidated kullanıcılarının OPso'nun Lasso, Ridge ve Elastik Ağ hakkında erken makaleler bulmasını önerdiğini gördüm.

Gelecek nesiller için Kement, Sırt ve Elastik Ağ üzerindeki seminal çalışmalar nelerdir?

Sadece referanslar aradığınız için liste şu şekildedir:

1. Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [Ters sorunların istikrarı üzerine]. Doklady Akademii Nauk SSSR. 39 (5): 195-198.
2. Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501-504 .. "Yanlış formüle edilmiş problemlerin çözümü ve düzenleme yöntemi" olarak çevrilmiştir. Sovyet Matematiği. 4: 1035-1038.
3. Hoerl AE, 1962, Regresyon problemlerine sırt analizinin uygulanması, Kimya Mühendisliği İlerlemesi, 1958, 54-59.
4. Arthur E. Hoerl; Robert W. Kennard (1970). "Ridge regresyon: Dikey olmayan problemler için önyargılı tahmin". Technometrics. 12 (1): 55-67. DOI: / 1267351 10.2307. https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Tibshirani, Robert (1996). "Kement Üzerinden Regresyon Büzülmesi ve Seçimi" (PostScript). Kraliyet İstatistik Topluluğu Dergisi, Seri B. 58 (1): 267-288. MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou, H. ve Hastie, T. (2005). Elastik ağ üzerinden düzenli ve değişken seçim. Kraliyet İstatistik Kurumu Dergisi, Seri B. 67: s. 301–320. https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

Öncelikle inanıyorum ki, önyargı tahmincilerinin sıradan doğrusal modeller için gelişmiş tahminlerle sonuçlanabileceğini kanıtladığım tarihsel olarak önemli bir makale:

• Stein, C., 1956, Ocak. Çok değişkenli normal dağılımın ortalaması için olağan tahmin edicinin kabul edilemezliği. Matematiksel istatistik ve olasılık üzerine üçüncü Berkeley sempozyumu Bildiriler Kitabı (Cilt 1, No. 399, s. 197-206).

Birkaç modern ve önemli ceza SCAD ve MCP'yi içeriyor:

• Fan, J. ve Li, R., 2001. İçbükey olmayan ceza olasılığı ve oracle özellikleri ile değişken seçim. Amerikan İstatistik Derneği Dergisi, 96 (456), s.1348-1360.
• Zhang, CH, 2010. Minimax içbükey ceza altında neredeyse tarafsız değişken seçimi. Annals istatistiği, 38 (2), s.894-942.

Ve bu yöntemleri kullanarak tahminler elde etmek için çok iyi algoritmalar hakkında daha fazla bilgi:

• Breheny, P. ve Huang, J., 2011. Konveks olmayan cezalandırılmış regresyon için biyolojik özellik seçimine yönelik uygulamalarla koordinasyon iniş algoritmaları. Uygulamalı istatistik yıllıkları, 5 (1), s.232.
• Mazumder, R., Friedman, JH ve Hastie, T., 2011. Sparsenet: Konveks olmayan cezalarla koordineli iniş. Amerikan İstatistik Derneği Dergisi, 106 (495), s.1125-1138.

Ayrıca, LASSO ile çok yakından ilgili olan Dantzig seçicisindeki bu makaleye de bakıyorum, ancak (inanıyorum) oldukça güçlü bir fikir olan istatistiksel tahminciler için oracle eşitsizlikleri fikrini ortaya koyuyor

• Candes, E. ve Tao, T., 2007. Dantzig seçici: p, n'den çok daha büyük olduğunda istatistiksel tahmin. Yıllıklar İstatistikleri, s.2313-2351.