Bir model ne zaman hazırlanır?

Mantık, genellikle bir modeli benimseyerek, genelleştirme kapasitesinin arttığını belirtir. Bununla birlikte, bir modelin altında yatan bir noktada açıkça, verilerin karmaşıklığına bakılmaksızın modellerin daha da kötüleşmesine neden olduğu belirtildi.

Modelinizin doğru dengeye oturduğunu ve modellemek istediği verileri desteklemediğini nereden biliyorsunuz?

Not: Bu, " Neden Aşırı Kıyafet Veriliyor? "

Bir model, modellemeye çalıştığı verilere ilişkin olarak çok basit olduğu zaman güvence altına alır.

Böyle bir durumu tespit etmenin bir yolu , bu şekilde temsil edilebilecek olan sapma varyansı yaklaşımını kullanmaktır :

Önyargınız yüksek olduğunda modeliniz donuktur.

Çok yüksek bir önyargıya veya çok yüksek bir varyansa sahip olup olmadığınızı bilmek için, fenomeni eğitim ve test hataları açısından görürsünüz:

Yüksek önyargı: Bu öğrenme eğrisi hem eğitim hem de test setlerinde yüksek hata gösteriyor, bu nedenle algoritma yüksek önyargıdan dolayı acı çekiyor:

Yüksek varyans: Bu öğrenme eğrisi, eğitim ve test seti hataları arasında büyük bir boşluk olduğunu gösterir, bu nedenle algoritma yüksek varyanstan muzdariptir.

Bir algoritma yüksek varyanstan muzdaripse:

• daha fazla veri muhtemelen yardımcı olacaktır
• aksi halde model karmaşıklığını azaltın

Bir algoritma yüksek önyargıdan muzdaripse:

• model karmaşıklığını arttırmak

Yukarıdaki grafikleri aldığım Coursera 'Makine Öğrenmesi kursu , "10: Makine Öğrenimi için Öneriler" bölümündeki bölümleri izlemenizi öneririm .

Sorunuzu cevaplamak için, aradığınız referans çerçevesini anlamak önemlidir, eğer model uydurmada felsefi olarak yapmaya çalıştığınız şeyi arıyorsanız, Rubens'in bu bağlamı açıklamak için iyi bir iş çıkardığına cevap verdiğini kontrol edin.

Bununla birlikte, pratikte sorunuz neredeyse tamamen iş hedefleri tarafından tanımlanmaktadır.

Somut bir örnek vermek gerekirse, bir kredi memuru olduğunuzu varsayalım, 3.000 ABD Doları değerinde kredi verdiniz ve insanlar size geri ödeme yaptığında 50 ABD doları ödüyorsunuz . kredi. Bunu basit tutalım ve sonuçların ya tam ödeme veya varsayılan olduğunu söyleyelim.

İş perspektifinden bakıldığında, beklenmedik durum matrisine sahip bir model performansını özetleyebilirsiniz:

Model birisinin temerrüde düşeceğini tahmin ettiğinde, öyle mi? Üst ve alt montajın olumsuz taraflarını belirlemek için, bir optimizasyon problemi olarak düşünmeyi faydalı buluyorum, çünkü öngörülen ayetlerin her bir kesitinde gerçek model performansının yapılması gereken bir maliyet veya kar vardır:

Bu örnekte, temerrüdü olan bir temerrüdü tahmin etmek, herhangi bir riske girmekten kaçınmak anlamına gelir ve temerrüde düşmeyen ve temerrüde bırakılmayan kredi başına 50 $ kazanacağını tahmin eder . İşlerin zorlaştığı yerde, yanlış olduğunuzda, temerrüde düşmediğinizi öngörürseniz varsayılan olarak tüm kredi sorumlusunu kaybedersiniz ve bir müşterinin gerçekte 50 $ kaçırılma fırsatına sahip olmayacağını tahmin ederseniz . Buradaki sayılar önemli değil, sadece yaklaşım.

Bu çerçevede artık, aşırı ve az ile ilişkili zorlukları anlamaya başlayabiliriz.

Bu durumda fazla uydurma, modelinizin geliştirme / test verileri üzerinde daha iyi çalıştığı ve sonrasında üretimde olduğu anlamına gelir. Ya da başka bir deyişle, üretimdeki modeliniz gelişimde gördüğünüzden çok daha düşük bir performans sergileyecektir, bu yanlış güven muhtemelen sizin daha sonra çok daha riskli krediler almanıza neden olacaktır, aksi takdirde sizden para kaybetmeye çok açık kalırsınız.

Öte yandan, bu bağlamda uyum altında sizi sadece gerçeği eşleştirmek için kötü bir iş yapan bir model ile bırakacaktır. Bunun sonuçları çılgınca tahmin edilemez olsa da (öngörücü modellerinizi tanımlamak istediğiniz karşıt kelimesi), genel olarak ne olduğu, bunun telafi edilmesi için standartların sıkılaştırılmasıyla, iyi müşterilerin kaybedilmesine neden olan daha az genel müşteriye yol açmaktadır.

Uydurma altında, uydurma yüzünden, uydurma konusunda size daha az güven veren bir çeşit zıt zorluk çeker. Sinsi bir şekilde, tahmin edilebilirliğin olmayışı hala beklenmedik riskleri almaya neden oluyor, ki bunların hepsi de kötü haber.

Deneyimlerime göre, bu durumlardan her ikisinden de kaçınmanın en iyi yolu, modelinizi eğitim verilerinizin kapsamı dışındaki veriler üzerinde doğrulamaktır; bu nedenle, “vahşi doğada göreceklerinizin temsili bir örneğine sahip olduğunuzdan emin olabilirsiniz. '.

Ek olarak, modelinizin ne kadar çabuk bozulduğunu ve yine de hedeflerinize ulaşıp ulaşmadığını belirlemek için modellerinizi periyodik olarak yeniden doğrulamak her zaman iyi bir uygulamadır.

Sadece bazı şeylere rağmen, hem geliştirme hem de üretim verilerini öngörme konusunda kötü bir iş çıkarsa modeliniz hazır durumdadır.

Modeller, gerçek hayatta görülenlerin sadece soyutlamalarıdır. İstenilen analizi desteklemek için yeterli bilgiyi korurken, gerçek sistemin gözle görülebilen nitritlerini soyutlamak için tasarlanmıştır.

Eğer bir model takıldıysa, gözlemlenenler hakkında çok fazla ayrıntı dikkate alınır ve bu tür nesnelerdeki küçük değişiklikler modelin hassasiyetini kaybetmesine neden olabilir. Diğer yandan, eğer bir model uygunsa, nesne üzerinde kayda değer değişiklikler göz ardı edilebilecek kadar az öznitelik değerlendirir.

Ayrıca , veri kümesine bağlı olarak, iç çamaşırın da bir kıyafet olarak görülebileceğini unutmayın . Girişiniz tek bir özellikle% 99 oranında doğru bir şekilde sınıflandırılabilirse , soyutlamayı tek bir özelliğe basitleştirerek modeli verilere göre düzenlersiniz . Ve, bu durumda, tabanın% 1'ini% 99 sınıfına genelleştiriyor olabilirsiniz - ya da modeli yalnızca bir sınıfı görebilecek kadar çok belirtiyordunuz .

Bir modelin ne bittiğini ne de altını çizmenin makul bir yolu çapraz doğrulamalar yapmaktır. Veri kümenizi k bölümlerine ayırırsınız ve analizinizi gerçekleştirmek için bunlardan birini seçerken diğer k - 1 bölümlerini kullanarak modelinizi eğitirsiniz. Girişin kendisinin önyargılı olmadığını göz önünde bulundurarak, modeli gerçek hayattaki işlemlerde kullanırken olduğu gibi yetiştirmek ve değerlendirmek için çok fazla veri değişkenine sahip olmanız gerekir.

Basitçe, ortak bir yaklaşım, modelin karmaşıklığını arttırmak, onu basitleştirmek ve muhtemelen ilk başta uyumsuzlaştırmak ve modelin karmaşıklığını arttırmaktır; ilk overfitting belirtileri, çapraz onaylama, önyükleme gibi bir yeniden örnekleme tekniği kullanılarak tanık olunur. vb.

Karmaşıklığı, modelinizde parametreler ekleyerek (yapay sinir ağları için gizli nöronların sayısı, rastgele bir ormandaki ağaçların sayısı) ya da düzenlileştirme (genellikle lambda veya C vektör desteği) terimini gevşeterek artırabilirsiniz.

Finans'taki CAPM (Sermaye Varlık Fiyatlama Modeli), iç çamaşır modelinin klasik bir örneğidir. “Yatırımcılar sadece çeşitlendiremeyecekleri riske öderler” diyen güzel teori üzerine kuruluydu, bu nedenle beklenen fazla getiri, piyasa getiri ile korelasyona eşit.

Formül [0] Ra = Rf + B (Rm - Rf) ki burada Ra, varlığın beklenen getirisidir, Rf, risksiz orandır, Rm piyasa getirisidir ve Beta, Hisse senedi primi ile korelasyondur. (Rm - Rf)

Bu güzel, zarif ve yanlıştır. Yatırımcıların daha yüksek oranlarda küçük hisse senetleri ve değeri (kitaptan pazara veya temettü verimiyle tanımlanmış) hisse senetleri gerektirdiği görülmektedir.

Fama ve Fransız [1], Model için Boyut ve Değer için ek Beta ekleyen bir güncelleme sundu.

Peki genel anlamda nasıl biliyorsunuz? Yaptığınız tahminler yanlış olduğunda ve mantıksal açıklaması olan başka bir değişken ise tahmin kalitesini artırır. Çeşitlendirilemeyen riskten bağımsız olarak neden birisinin küçük stokların riskli olduğunu düşündüğünü anlamak kolaydır. Verilerle desteklenen iyi bir hikaye.

[0] http://www.investopedia.com/terms/c/capm.asp [1] http://en.wikipedia.org/wiki/Fama%E2%80%93French_three-factor_model