Rasgele bir mutfak lavabosu nasıl çalışır?

Geçen yıl NIPS 2017'de Ali Rahimi ve Ben Recht "Büyük Ölçekli Çekirdek Makineleri için Rastgele Özellikler" adlı makaleleri için zaman testi ödülü kazandılar . Makalelerini yayınlamanın bir parçası olarak, modellerinin 5 satır matlab'de uygulanabileceğini gösterdiler.

% Approximates Gaussian Process regression
%     with Gaussian kernel of variance gamma^2
% lambda: regularization parameter
% dataset: X is dxN, y is 1xN
% test: xtest is dx1
% D: dimensionality of random feature

% training
w = randn(D,d);
b = 2 * pi * rand(D, 1);
Z = cos(gamma * w * X + b * ones(1,N));

alpha = (lambda * eye(D) +Z * Z') \ (Z * y);

% testing
ztest = alpha' * cos(gamma * w * xtest + b);

Yukarıdaki algoritmanın bir şeyi nasıl öğrendiği benim için belirsiz. Rasgele bir mutfak lavabosu nasıl çalışır? Gauss süreçlerine nasıl yaklaşıyor ve vektör makinelerini nasıl destekliyor?

Düzenle

Rahimi'nin konuşmasına yeniden bakıldığında, rastgele mutfak lavaboları terimi, ödül kazandıkları kağıda değil, "Büyük Ölçekli Çekirdek Makineleri için Rastgele Özellikler" ile başlayan kağıt üçlemesinin sonunda tanıtıldı. Diğer makaleler:

Rahimi, Ali ve Benjamin Recht. Msgstr "Rasgele tabanlı işlevlerin düzgün bir şekilde yaklaştırılması." İletişim, Kontrol ve Bilişim, 2008 46. Yıllık Alerji Konferansı. IEEE, 2008.

Rahimi, Ali ve Benjamin Recht. "Rasgele mutfak lavabolarının ağırlıklı toplamları: Minimizasyonun öğrenmede rasgeleleştirme ile değiştirilmesi." Sinirsel bilgi işleme sistemlerindeki gelişmeler. 2009.

Yukarıda sunulan kod snippet'inin son makalede Algoritma 1'in bir uzmanlığı olduğunu düşünüyorum.

Rastgele mutfak lavaboları (veya rastgele Fourier özellikleri) ve diğer ilgili yöntemler, çıkarım yapmak için çaba göstermez, aksine çekirdek tabanlı çıkarım yöntemlerinin darboğazını azaltmaya çalışırlar.

$n \times n$$O(n^3)$

Rastgele Fourier özellikleri (Rehimi & Recht 2007), Fourier bileşenlerinin yalnızca rastgele bir alt kümesini örnekleyerek, vardiya değişmez çekirdeklerinin düşük dereceli yaklaşımları oluşturmayı düşündü. Fourier alanı kayma değişmez olduğundan, bu özellik korunmuştur, ancak şimdi bu Fourier bileşenlerinin birleşmesi ile açık bir sonlu boyutlu üreme çekirdeği Hilbert alanı oluşturulmuştur. Bir kez sonsuz boyutlu RKHS, dejenere yaklaşık çekirdek ile yaklaşık olarak tahmin edilir.

Kod pasajı ile ilgili notlar: 5 satırda birkaç ayrıntı fırçalanmıştır. En önemlisi Gauss fonksiyonunun Fourier uzayında da Gauss fonksiyonudur, sadece varyans ters çevrilir. Bu yüzden randn'dan örnek alıyorlar ve sonra varyansla çarpıyorlar. Sonra ztest bulmak için sadece bir alt prosedür olan alfa üretirler. Esasen normal çekirdek tahmini,

$z_{test} = K(x_{test}, x)(K(x, x) + \lambda I)^{-1} y.$

$z_{test} = \Phi(x_{test})^T\Phi(x)(\Phi(x)^T\Phi(x) + \lambda I)^{-1} y.$

$\Phi(\cdot)$

Yan yorum: Kullanmalı mısınız? Cevap açık bir evet değil. Tamamen modellediğinize bağlıdır. Fourier boşluğunun kullanımı, sabit olmayan kaydırmaz değişmez çekirdekler için uygun olmayabilir. Çocuklar bu ortamda çalışacağını hiç iddia etmediler, ancak o bölgede yeni başlıyorsanız bazen nüanslar belli olmaz.