Bir makine öğrenme kitabında doğrusal regresyon parametrelerinin (diğer yöntemlerin yanı sıra) gradyan kökenli olarak tahmin edilebileceğini okurken lojistik regresyon parametreleri genellikle maksimum olabilirlik tahmini ile tahmin edilmektedir.
Bir acemi (bana) neden doğrusal / lojistik regresyon için farklı yöntemlere ihtiyacımız olduğunu açıklamak mümkün mü? aka lineer regresyon için neden MLE değil ve lojistik regresyon için degrade iniş neden olmasın?
Yanıtlar:
Elmaları portakalla karıştırıyorsunuz. Tamam, çünkü ikisi de lezzetli.
Maksimum olabilirlik tahmini, en aza indirgediğiniz şeyle , degrade iniş, onu nasıl minimize ettiğinizle ilgilidir.
Lineer regresyon için neden MLE olmasın?
Aslında, lineer regresyon edilir maksimum olabilirlik tahmini ile çözüldü. Standart "kare hatalarının toplamını en aza indir" yöntemi, koşullu normal dağılım kullanılarak maksimum olasılık tahminine tam olarak matematiksel olarak eşdeğerdir.
Lojistik regresyon için neden gradyan inişi olmasın?
Degrade iniş kullanarak olabilirlik işlevini en aza indirerek lojistik regresyonu tamamen çözebilirsiniz . Aslında harika bir egzersiz ve herkese bunu en az bir kez yapmasını tavsiye ederim.
Degrade iniş standart yöntem değildir. Bu ödül , ikinci türevi de dikkate alan gradyan inişinde bir artış olan iteratif olarak yeniden ağırlıklı en küçük kareler / Newton yöntemine gider . Bu yöntem, degrade inişten çok daha iyi özelliklere sahip olduğu ortaya çıkıyor, ancak anlaşılması ve uygulanması daha zor.