Lojistik Regresyon'u eğitmenin bir yolu, scikit-learn'ın bir arayüz sunduğu stokastik degrade inişini kullanmaktır.
Yapmak istediğim bir scikit- learn'ın SGDClassifier'ı almak ve burada Lojistik Regresyon ile aynı puanı almak . Ancak puanlarım eşit olmadığından bazı makine öğrenme geliştirmelerini kaçırmam gerekiyor.
Bu benim şu anki kodum. Lojistik Regresyon ile aynı sonuçları vermesini sağlayacak olan SGDClassifier'da ne eksik?
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import SGDClassifier
import numpy as np
import pandas as pd
from sklearn.cross_validation import KFold
from sklearn.metrics import accuracy_score
# Note that the iris dataset is available in sklearn by default.
# This data is also conveniently preprocessed.
iris = datasets.load_iris()
X = iris["data"]
Y = iris["target"]
numFolds = 10
kf = KFold(len(X), numFolds, shuffle=True)
# These are "Class objects". For each Class, find the AUC through
# 10 fold cross validation.
Models = [LogisticRegression, SGDClassifier]
params = [{}, {"loss": "log", "penalty": "l2"}]
for param, Model in zip(params, Models):
total = 0
for train_indices, test_indices in kf:
train_X = X[train_indices, :]; train_Y = Y[train_indices]
test_X = X[test_indices, :]; test_Y = Y[test_indices]
reg = Model(**param)
reg.fit(train_X, train_Y)
predictions = reg.predict(test_X)
total += accuracy_score(test_Y, predictions)
accuracy = total / numFolds
print "Accuracy score of {0}: {1}".format(Model.__name__, accuracy)Çıktım:
Accuracy score of LogisticRegression: 0.946666666667
Accuracy score of SGDClassifier: 0.76
3
Bir soru ve bir gözlem: SGD'nin tekrarlanan çalışmalardaki doğruluğu ne kadar kararlıdır? iki algoritma eşdeğer değildir ve mutlaka aynı veriler verilen aynı doğruluğu üretmeyecektir. Pratik olarak, dönemleri ve / veya SGD'nin öğrenme oranını değiştirmeyi deneyebilirsiniz. Bunun ötesinde, SGD'nin özelliklerini normalleştirmeyi deneyebilirsiniz.
—
image_doctor
Bu yüzden, SGD'yi tekrarlanan çalışmalarda test etmedim, çünkü yukarıdaki 10 kat çapraz doğrulama kullanır; benim için bu yeterli.
—
hlin117
Bana bu algoritmaların nasıl eşdeğer olmadığını açıklayabilir misiniz? Burada SGDClassifier’a bakarsam, “log log’ kaybı, lojistik bir regresyon, olasılıklı bir sınıflandırıcı verir ”diyor. Makine öğrenim bilgilerimde bir boşluk olduğuna inanıyorum.
—
hlin117
Uygulamaların ayrıntılı bir incelemesi olmadan, neden eşdeğer olmadıkları konusunda spesifik olabileceğimi sanmıyorum, ancak eşdeğer olmadıklarına dair iyi bir ipucu, her bir yönteme ait sonuçların önemli ölçüde farklı olduğudur. Benim tahminim, her birinde kullanılan tahmin yöntemlerinin yakınsama özellikleriyle ilgili olması gerektiğidir.
—
image_doctor
Bu algoritmalar farklıdır, çünkü lojistik regresyon, stokastik gradyan inişinin stokastik gradyan inişini kullandığı durumlarda gradyan inişini kullanır. Birincinin yakınsaması daha verimli olacak ve daha iyi sonuçlar verecektir. Ancak, veri kümesinin büyüklüğü arttıkça, SGDC lojistik regresyonun doğruluğuna yaklaşmalıdır. GD'nin parametreleri, SGD'nin parametrelerinden farklı şeyler ifade eder, bu yüzden onları hafifçe ayarlamayı denemelisiniz. SGD öğrenme oranlarını biraz düşürmeyi önerebilirim, çünkü biraz daha iyi bir şekilde birleşebilir.
—
AN6U5