Makine öğrenmesi bir listeden maksimum bulma gibi bir işlevi öğrenebilir mi?

Bir liste olan bir girdi var ve çıktı, girdi listesindeki elemanların maksimumudur.

Makine öğrenmesi, girişte mevcut giriş öğelerinin maksimumunu her zaman seçen böyle bir işlevi öğrenebilir mi?

Bu oldukça basit bir soru gibi görünebilir ama bana genel makine öğrenmenin neler yapabileceği hakkında bir fikir verebilir. Teşekkürler!

Belki , ama bunun makine öğrenmenin cevap olmadığı durumlardan biri olduğuna dikkat edin . Makine standartlarını esas alan bataklık standart kurallarına dayalı çözümlerin daha hızlı, daha basit ve sadece genel olarak doğru seçim olduğu durumlara denemek ve ayakkabı çekme makinesi öğrenme eğilimi vardır: P

Sadece yapabildiğin için, yapman gerektiği anlamına gelmez.

Düzenleme : Aslen bunu "Evet, ama şunu not et ..." olarak yazdım ama daha sonra hiç yapmadığım için kendimden şüphe etmeye başladım. Öğleden sonra denedim ve kesinlikle yapılabilir:

import numpy as np
from keras.models import Model
from keras.layers import Input, Dense, Dropout
from keras.utils import to_categorical
from sklearn.model_selection import train_test_split
from keras.callbacks import EarlyStopping

# Create an input array of 50,000 samples of 20 random numbers each
x = np.random.randint(0, 100, size=(50000, 20))

# And a one-hot encoded target denoting the index of the maximum of the inputs
y = to_categorical(np.argmax(x, axis=1), num_classes=20)

# Split into training and testing datasets
x_train, x_test, y_train, y_test = train_test_split(x, y)

# Build a network, probaly needlessly complicated since it needs a lot of dropout to
# perform even reasonably well.

i = Input(shape=(20, ))
a = Dense(1024, activation='relu')(i)
b = Dense(512, activation='relu')(a)
ba = Dropout(0.3)(b)
c = Dense(256, activation='relu')(ba)
d = Dense(128, activation='relu')(c)
o = Dense(20, activation='softmax')(d)

model = Model(inputs=i, outputs=o)

es = EarlyStopping(monitor='val_loss', patience=3)

model.compile(optimizer='adam', loss='categorical_crossentropy')

model.fit(x_train, y_train, epochs=15, batch_size=8, validation_data=[x_test, y_test], callbacks=[es])

print(np.where(np.argmax(model.predict(x_test), axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

Çıktı 0,74576, bu nedenle zamanın maksimum% 74,5'ini doğru buluyor. Bunun geliştirilebileceğinden şüphem yok, ancak bunun bir usecase olmadığını söylediğim gibi ML için tavsiye ederim.

2 EDIT : Aslında bu sabah sklearn's RandomForestClassifier kullanarak yeniden koştum ve önemli ölçüde daha iyi performans gösterdi:

# instantiation of the arrays is identical

rfc = RandomForestClassifier(n_estimators=1000, verbose=1)
rfc.fit(x_train, y_train)

yhat_proba = rfc.predict_proba(x_test)


# We have some annoying transformations to do because this .predict_proba() call returns the data in a weird format of shape (20, 12500, 2).

for i in range(len(yhat_proba)):
    yhat_proba[i] = yhat_proba[i][:, 1]

pyhat = np.reshape(np.ravel(yhat_proba), (12500,20), order='F')

print(np.where(np.argmax(pyhat, axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

Ve buradaki puan, maksimum olarak doğru tespit edilen örneklerin% 94,4'üdür, bu gerçekten de oldukça iyidir.

Evet. Çok önemlisi, SİZE bir makine öğrenme çözümünün mimarisine karar verirsiniz. Mimariler ve eğitim prosedürleri kendilerini yazmaz; tasarlanmaları veya şablon haline getirilmeleri gerekir ve eğitim, bir dizi veri noktasına uyan mimarinin bir parametresini keşfetmenin bir yolu olarak takip edilir.

Aslında bir maksimum işlev içeren çok basit bir mimari oluşturabilirsiniz:

net(x) = a * max(x) + b * min(x)

nerede bir ve b parametreleri öğrenilir.

Yeterli sayıda eğitim örneği ve makul bir eğitim rutini göz önüne alındığında, bu çok basit mimari, göreviniz için sıfıra 1 ve b sıfıra ayarlanmayı çok hızlı bir şekilde öğrenecektir.

Makine öğrenmesi genellikle girdi veri noktalarının özelliklendirilmesi ve dönüştürülmesi ile ilgili birçok hipotezi eğlendirmek ve yalnızca hedef değişkenle ilişkilendirilen hipotezleri korumayı öğrenmek şeklindedir. Hipotezler, mimaride ve parametrelenmiş bir algoritmada mevcut olan alt fonksiyonlarda veya bir "parametresiz" algoritmada kodlanan varsayımlarda açıkça kodlanır.

Örneğin, vanilya sinir ağları ML'de yaygın olan nokta ürünleri ve doğrusal olmayanları kullanma seçimi bir şekilde keyfidir; lineer dönüşümlerin ve eşik fonksiyonlarının önceden belirlenmiş bir bileşik ağ yapısı kullanılarak bir fonksiyonun oluşturulabileceğini kapsayan kapsamlı bir hipotezi ifade eder. Bu ağın farklı parametreleri, hangi doğrusal dönüşümlerin kullanılacağı konusunda farklı hipotezler içerir. Herhangi bir işlev kutusu kullanılabilir ve bir makine öğrencisinin görevi, farklılaşma veya deneme ve hata veya dizisindeki işlev veya özelliklerin bir hata ölçütünü en iyi şekilde en aza indirgeyen başka bir tekrarlanabilir sinyal yoluyla keşfetmesidir. Yukarıda verilen örnekte, öğrenilen ağ basitçe maksimum işlevin kendisine indirgenirken, farklılaşmamış bir ağ alternatif olarak bir asgari işlevi "öğrenebilir". Bu fonksiyonlar, başka bir cevapta lineer veya nöral net regresyon fonksiyonunda olduğu gibi başka yollarla ifade edilebilir veya yaklaştırılabilir. Özetle, ML mimarisi araç kutunuzdaki hangi işlevlere veya LEGO parçalarına sahip olduğunuza gerçekten bağlıdır.

Evet - Makine öğrenmesi, bir sayılar listesinde azami değeri bulmayı öğrenebilir.

İşte maksimumun endeksini bulmanın basit bir örneği:

import numpy as np
from sklearn.tree import DecisionTreeClassifier

# Create training pairs where the input is a list of numbers and the output is the argmax
training_data = np.random.rand(10_000, 5) # Each list is 5 elements; 10K examples
training_targets = np.argmax(input_data, axis=1)

# Train a descision tree with scikit-learn
clf = DecisionTreeClassifier()
clf.fit(input_data, targets)

# Let's see if the trained model can correctly predict the argmax for new data
test_data = np.random.rand(1, 5)
prediction = clf.predict(test_data)
assert prediction == np.argmax(test_data) # The test passes - The model has learned argmax

Öğrenme algoritmaları

İleri beslemeli bir sinir ağı tarafından yapılan bir hesaplama olarak bir işlevi öğrenmek yerine, örnek verilerden öğrenme algoritmalarıyla ilgili kapsamlı bir araştırma alanı vardır . Örneğin, bir Sinir Turing Makinesi veya bir algoritmanın uygulanmasının karar noktalarında makine öğrenmesi tarafından kontrol edildiği başka bir yöntem gibi bir şey kullanılabilir . Bir algoritma bulmak, bir listeyi sıralamak ya da bir listeyi tersine çevirmek ya da bir listeyi filtrelemek gibi oyuncak algoritmaları algoritma öğrenme araştırmalarında sıklıkla örnek olarak kullanılır.

Eğitimli tasarımları cevabımın dışında tutacağım. Hayır, isteğe bağlı listelerde keyfi listeler için maksimum işlevi tam olarak temsil etmek için bir kutudan öğrenme (ML) yaklaşımı kullanmak mümkün değildir . ML, veri tabanlı bir yöntemdir ve herhangi bir veri noktasına sahip olmadığınız bölgelerde bir fonksiyona yaklaşamayacağınız açıktır. Bu nedenle, olası gözlemlerin (ki sonsuz) alanı sonlu gözlemlerle kaplanamaz.

İfadelerimin Cybeko'nun sinir ağları için Evrensel Yaklaşım Teoremi ile teorik bir temeli var. Teoremi Wikipedia'dan alıntılayacağım:

$\mathbb{R}^n$

$\mathbb{R}^n$$x\in \mathbb{R}$

Eğer gözlem alanınız küçükse, o zaman sınırlı bir veri seti ile maksimum fonksiyona yaklaşabilirsiniz. Üst oyların cevabı netleştiğinden, tekerleği yeniden icat etmemelisin!

İşte yorumumda bir genişleme var. Önsöz, kesinlikle @DanScally, maksimum bir liste bulmak için ML kullanmanız için hiçbir neden olmadığı doğru. Ama bence “bana makine öğrenmenin genel olarak neler yapabileceğini anlamayı sağlayabilir” diyerek buna girmenin yeterli bir nedeni olduğunu düşünüyorum.

$\max$$\max$

$\max$$\max$$\max$

$n$ $n$

$\operatorname{argmax}$$n$$\binom{n}{2}$$\delta_{ij} = \mathbf{1}(x_i < x_j)$$i<j$$x_j-x_i$$n$$x_i$$\sum_{j<i} \delta_{ji} + \sum_{j>i} (1-\delta_{ij})$$j$$x_i>x_j$$x_i$sıralanmış listede. Argmax'ı tamamlamak için bu katmanı eşikleyin. Bu noktada, eğer çarpabilirsek, gerçek maksimum değeri kolayca alacağız. Kağıttaki çözüm, sayıların ikili gösterimini kullanmaktır; bu noktada ikili çarpma eşikli ekleme ile aynıdır. Sadece argmax'ı elde etmek için, göstergesini ile toplayarak ve toplayarak basit bir doğrusal işleve sahip olmak yeterlidir . i i
$i$$i$

Son olarak, sonraki soru için: NN'yi bu duruma eğitebilir miyiz? @DanScally bize başladı; belki teorik mimariyi bilmek, çözümü aldatmamıza yardımcı olabilir mi? (Yukarıdaki belirli ağırlık kümesini öğrenebilir / yaklaşık değerlerini öğrenebilirsek, ağın gerçekten eğitim numuneleri aralığının dışında iyi bir performans göstereceğini unutmayın.)

Github / Colab içinde defter

İşleri birazcık değiştirince, daha iyi bir test puanı (0.838) alırım ve hatta orijinal eğitim aralığının dışındaki bir örnek üzerinde test yapmak bile iyi bir puan alır (0.698). ölçeklendirilmiş girişleri kullanma$[-1,1]$0,758 aralığının dışında bir puanla test puanını 0,961'e çıkarır. Ancak, @DanScally ile aynı yöntemle değerlendiriyorum, bu biraz sahtekâr görünüyor: kimlik işlevi bu metrikte mükemmel bir puan alacak. Ayrıca yukarıda belirtilen tam uyuma yakın bir şeyin görünüp görünmediğini görmek için birkaç katsayı yazdım (gerçekten değil); ve birkaç ham çıktı, modelin bir girdiyi tahmin etmekte çok çekingen olduğunu öne sürerek, girdilerin hiçbirinin maksimum olmadığını öngörme tarafındadır. Belki hedefi değiştirmek yardımcı olabilir, ama bu noktada çok fazla zaman harcadım; Herhangi biri yaklaşımı iyileştirmeyi umursarsa, oynamaktan çekinmeyin (isterseniz Colab'da) ve bana bildirin.

Evet, basit doğrusal öğrenme kadar basit bir makine öğrenmesi olsa bile, en küçük kareler uygulanmış zekayı kullanırsanız bunu yapabilir.

(Fakat çoğu kişi bunu çok korkunç overkill olarak görür).

(Giriş vektörünün maksimum absini bulmak istediğimizi varsayacağım):

1. Monotonetik olarak azalan bir mutlak değer fonksiyonu seçin, örneğin $$f(x) = \frac{1}{x^2}$$
2. köşegen matrisini oluşturun . Bize$f({\bf r})$$\bf C_r$
3. Olanları tam Yapı vektör .$\bf S$
4. Denklem sistemini kurun ve çözün$(\epsilon {\bf I}+10^3{\bf S}^t{\bf S}+{\bf C_r})^{-1}(10^3 {\bf S}^t)$
5. Sonuç vektörünü arayalım , bir olasılık ölçüsü olacaktır (toplamı 1), doğrusal olmayan bir şekilde yeniden değerlendirebiliriz, örneğin$\bf p$ $$p_i = \frac{p_i^k}{\sum|p_i|^k}$$
6. Sadece skaler çarpımı indeks vektörü ve yuvarlak olarak hesaplayın.