Veri madenciliği: İşlevsel formu nasıl bulmalıyım?

Ben fonksiyonunun fonksiyonel formu keşfetmek için kullanılabilir tekrarlanabilir prosedürleri hakkında merak ediyorum y = f(A, B, C) + error_termbenim tek giriş gözlemler bir dizi nerede ( y, A, Bve C). Lütfen işlevsel biçiminin fbilinmediğini unutmayın.

Aşağıdaki veri kümesini göz önünde bulundurun:

AA BB CC DD EE FF
== == == == == ==
98 11 66 84 67 10500
71 44 48 12 47 7250
54 28 90 73 95 5463
34 95 15 45 75 2581
56 37 0 79 43 3221
68 79 1 65 9 4721
53 2 90 10 18 3095
38 75 41 97 40 4558
29 99 46 28 96 5336
22 63 27 43 4 2196
4 5 89 78 39 492
10 28 39 59 64 1178
11 59 56 25 5 3418
10 4 79 98 24 431
86 36 84 14 67 10526
80 46 29 96 7 7793
67 71 12 43 3 5411
14 63 2 9 52 368
99 62 56 81 26 13334
56 4 72 65 33 3495
51 40 62 11 52 5178
29 77 80 2 54 7001
42 32 4 17 72 1926
44 45 30 25 5 3360
6 3 65 16 87 288

Bu örnekte, bunu bildiğimizi varsayalım FF = f(AA, BB, CC, DD, EE) + error term, ancak işlevsel biçiminden emin değiliz f(...).

İşlevsel biçimini bulmak için hangi prosedürü / hangi yöntemleri kullanırsınız f(...)?

(Bonus noktası: fYukarıdaki verileri vermede en iyi tahmininiz nedir ? :-) Ve evet, R^20.99'u aşacak "doğru" bir cevap var .)

Veriler için en uygun işlevsel formu (serbest biçimli veya sembolik regresyon) bulmak için bu aracı deneyin - tüm bilgilerime göre bu, mevcut en iyi (en azından bu konuda çok heyecanlıyım). ücretsiz :-)

http://creativemachines.cornell.edu/eureqa

EDIT : Eureqa ile bir şans verdim ve giderdim:

R, 2 =

Mükemmel bir uyum diyecektim (Eureqa başka, daha iyi oturan çözümler sunar, ancak bunlar da biraz daha karmaşık. Eureqa bunu tercih ediyor, bu yüzden bunu seçtim) - ve Eureqa birkaç saniye içinde benim için her şeyi yaptı. normal bir dizüstü bilgisayar ;-)

, tek başına uyum iyiliğinin iyi bir tedbir değil, ama burada o içine almak olduğunu gözlemlemek hariç etmeyelimparsimonimodelleme değer biçilir.$R^2$

Bu amaçla, not bu standart teknikler Veri Analizi (EDA) ve regresyon (ama yok aşamalı ya da diğer otomatik prosedürleri) şeklinde bir doğrusal model kullanılarak önermek

OLS kullanarak, bu elde edecek 0.99 üzerindedir. Bu tür bir sonuç cesaret verici bir her iki taraf ve gerileme kare için cazip olduğunu f ile bir , b * c , bir * b * c , ve tüm kareler ve ürünler. Bu hemen bir model üretir$R^2$$f$$a$$b*c$$a*b*c$

34 altındaki bir kök MSE ve ile ayarlanmış 0,9999 arasında$R^2$ . 1.0112 ve 0.988’in tahmini katsayıları, verilerin formülle yapay olarak üretilebileceğini göstermektedir

artı yaklaşık 50'ye eşit SD normalde dağılmış küçük bir hata.

Düzenle

@ Knorv'ın ipuçlarına yanıt olarak, analize devam ettim. Bunu yapmak için, şimdiye kadar başarılı olan teknikleri kullandım, artıkların saçılma matrislerinin orijinal değişkenlere karşı incelenmesiyle başladım. Tabii ki, arasındaki ilişki net bir belirti yoktu ve artıklar (hatta EKK regresyonu olsa f karşı bir , bir 2 ve b * c vermedi değil belirtmek bir "önemli" olduğunu). Bu damarda devam ben kuadratik terimler arasındaki tüm korelasyonlar araştırdı bir 2 , ... , e 2 , bir $a$$f$$a$$a^2$$b*c$$a$ ve yeni artıklar ve b 2 ile küçük ama oldukça önemli bir ilişki buldu. "Çok önemli", tüm bu meraklıların, 20 farklı değişkene bakmayı içerdiği anlamına gelir; bu nedenle, bu balıkçılık keşif gezisindeki önem ölçütüm yaklaşık 0,05 / 20 = 0,0025'tir: daha az sıkı olan herhangi bir şey, uyum için sondalamanın bir ürünü olabilir.$a^2, \ldots, e^2, a*b, a*c, \ldots, d*e$$b^2$

Bunun “ilginç” ve “basit” katsayılarla ilişkileri beklediğimiz ve dolayısıyla aradığımız fiziksel bir modelin tadı bir şeydir. Yani, örneğin, tahmini katsayısı olduğunu görünce -0,0092 (% 95 güven ile -0,005 ila -0.013) idi, bunun için -1/100 kullanmak seçildi. Bu, sosyal ya da politik bir sistemin gözlemleri gibi başka bir veri seti olsaydı, böyle bir değişiklik yapmazdım, sadece OLS tahminlerini olduğu gibi kullanırım.$b^2$

Neyse, daha iyi bir uyum

ortalama artık , standart sapma 26.8, -50 ile +43 arasındaki tüm artıklar ve normal olmayan bir kanıt bulunmamakla birlikte (bu kadar küçük bir veri setinde hatalar eşit bir şekilde dağıtılabilse de bir tanesi gerçekten farkı söyleyememiştir). Artık standart sapmada yaklaşık 50'den 25'e düşme, genellikle "artık varyansın% 75'ini açıklamak" olarak ifade edilir.$0$

$a$$b^2$

BTW, sağlam regresyon kullanarak modele uyabilirim

27.4 artık SD ile ve -51 ve +47 arasındaki tüm artıklar: esasen önceki uyum kadar iyi fakat bir daha az değişken olan. Bu anlamda daha ayrıcalıklı, fakat katsayıları "güzel" değerlere yuvarlamadığım için daha az ayrıcalıklı. Bununla birlikte, bu genellikle bir regresyon analizinde tercih edeceğim formdur, katsayıların ne tür değerlere sahip olması gerektiği ve hangi değişkenlerin dahil edilmesi gerektiği konusunda kesin teoriler yoktur.

$R^2$

Sorunuzun rafine edilmesi gerekiyor, çünkü işlev fneredeyse kesinlikle benzersiz bir şekilde örnek veriler tarafından tanımlanmadı. Aynı verileri üretebilecek birçok farklı fonksiyon vardır.

Olduğu söyleniyor, Varyans Analizi (ANOVA) veya bir "duyarlılık çalışması", girdilerinizin (AA..EE) çıktılarınızı (FF) nasıl etkilediği hakkında size çok şey söyleyebilir.

Ben sadece hızlı ANOVA yaptı ve oldukça iyi bir model buldum: FF = 101*A + 47*B + 49*C - 4484. İşlev doğrusal olarak DD veya EE'ye bağlı görünmüyor. Tabii ki, model ile daha ileri gidebilir ve ikinci dereceden ve karışım terimleri ekleyebiliriz. Sonunda verilere tam uyan ve öngörücü değeri olmayan mükemmel bir modele sahip olacaksınız. :)

Genel olarak konuşursak, makine öğrenmede serbest öğle yemeği yoktur:

Özellikle, eğer A algoritması bazı maliyet fonksiyonlarında algoritma B'den daha iyi performans gösteriyorsa, o zaman gevşekçe konuşmak gerekirse, tam olarak B'nin A'dan daha iyi performans gösterdiği diğer fonksiyonlar kadar mevcut olması gerekir.

/ edit: ayrıca, C = 4 ve sigma = 0.206 olan bir radyal SVM, kolaylıkla .99'luk bir R2 verir. Bu veri setini türetmek için kullanılan gerçek denklemi çıkarmak, sınıfa alıştırma olarak bırakılmıştır. Kod R'de.

setwd("~/wherever")
library('caret')
Data <- read.csv("CV.csv", header=TRUE)
FL <- as.formula("FF ~ AA+BB+CC+DD+EE")
model <- train(FL,data=Data,method='svmRadial',tuneGrid = expand.grid(.C=4,.sigma=0.206))
R2( predict(model, Data), Data$FF)

Tüm Modeller yanlıştır ancak bazıları kullanışlıdır: GEPBox

Y (T) = - 4709.7
+ 102.60 * AA (T) - 17.0707 * AA (T-1)
+ 62.4994 * BB (T) + 41.7453 * CC (T) + 965.70 * ZZ (T)

ZZ (T) = 0 İÇİN T = 1,10 = 1 DİĞER

Y ile AA arasında "gecikmeli bir ilişki" VE 11-25 arası gözlemler için ortalamada açıklanan bir kayma var gibi görünüyor.

Kronolojik veya mekansal veri değilse, meraklı sonuçlar.

97.2 r kare

Tahmini / Teşhis Kontrolü Değişken YY
X1 AAS
X2 BB
X3 BBS
X4 CC

Kalıntı Sayısı (R) = n 25
Serbestlik Derecesi Sayısı = nm 20
Kalıntı Ortalama = Toplam R / n-141873E-05
Karelerin Toplamı = Toplam R2.775723E + 07
Varyans = SOS / (n) 310289.
Düzeltilmiş Varyans = SOS / (nm) 387861.
Standart Sapma RMSE = SQRT (Adj Var) 622.785
Ortalamanın Standart Hatası = Standart Dev / (nm) 139.259
Ortalama / Standart Hata = Ortalama / SEM-101077E-07
Ortalama Mutlak Sapma = Toplam (ABS (R)) / n 455.684
AIC Değeri (var Kullanır) = nln + 2m 326.131
SBC Değeri (var Kullanır) = nln + m * lnn 332.226
BIC Değeri (var Kullanılır) = bakınız Wei p153 340.388
R Kare = .972211
Durbin-Watson İstatistiği = [- A (T -1)] ** 2 / A 2 1.76580

**
MODEL BİLEŞENİ LAG COEFF STANDART PT
# (BOP) ERROR DEĞER DEĞERİ

1CONSTANT                         -.381E+04   466.       .0000    -8.18

GİRİŞ SERİSİ X1 AAS AA KARE

2Omega (input) -Factor #  1    0   .983       .410E-01   .0000    23.98

GİRİŞ OLARAK GİRİŞ SERİSİ X2 BB BB

3Omega (input) -Factor #  2    0   108.       14.9       .0000     7.27

GİRİŞ SERİSİ X3 BBS BB KARE

4Omega (input) -Factor #  3    0  -.577       .147       .0008    -3.93

GİRİŞ OLARAK GİRİŞ SERİSİ X4 CC CC

5Omega (input) -Factor #  4    0   49.9       4.67       .0000    10.67