Verileri test ve eğitim setlerine ayırmak yalnızca bir “istatistik” midir?

Ben makine öğrenimi / veri bilimi okuyan bir fizik öğrencisiyim, bu yüzden bu sorunun herhangi bir çatışmaya başlamasını istemiyorum :) Ancak, herhangi bir fizik lisans programının büyük bir kısmı laboratuvarlar / deneyler yapmaktır, bu da çok fazla veri anlamına gelir. işleme ve istatistiksel analiz. Ancak, fizikçilerin verilerle ilgilenme şekli ile veri bilimi / istatistiksel öğrenme kitaplarımın verilerle ilgilenme biçimi arasında keskin bir fark görüyorum.

Temel fark, fizik deneylerinden elde edilen verilere regresyon gerçekleştirmeye çalışırken, regresyon algoritmalarının WHOLE veri kümesine uygulanması , eğitim ve test setlerine kesinlikle ayrılmamasıdır. Fizik dünyasında, model için tüm veri setine dayalı olarak R ^ 2 veya bir tür sözde R ^ 2 hesaplanır. İstatistik dünyasında, veriler neredeyse her zaman 80-20, 70-30, vb.'ye bölünür ve daha sonra model test veri kümesine göre değerlendirilir.

Ayrıca, bu veri bölünmesini asla yapmayan bazı büyük fizik deneyleri (ATLAS, BICEP2, vb ...) var, bu yüzden fizikçilerin / deneycilerin istatistik yapma şekli ile veri bilimcileri arasında neden böyle bir fark olduğunu merak ediyorum. istatistik yapmak.

Tüm istatistiksel prosedürler "çapraz doğrulama" olarak da adlandırılan eğitim / test verilerine bölünmez (tüm prosedür bundan biraz daha fazlasını içermesine rağmen).

Daha ziyade, bu özellikle örnek dışı hatayı tahmin etmek için kullanılan bir tekniktir ; yani modeliniz yeni bir veri kümesi kullanarak yeni sonuçları ne kadar iyi tahmin edecek? Örneğin, veri kümenizdeki örnek sayısına göre çok fazla sayıda öngörücüye sahip olduğunuzda bu çok önemli bir sorun haline gelir. Bu gibi durumlarda, büyük numune içi hatası olan ancak örnek hatası dışında korkunç bir model oluşturmak gerçekten kolaydır ("aşırı montaj" olarak adlandırılır). Hem çok sayıda öngörücüye hem de çok sayıda örneğe sahip olduğunuz durumlarda, çapraz doğrulama, yeni verileri tahmin ederken modelin ne kadar iyi davranacağını değerlendirmek için gerekli bir araçtır. Rakip öngörücü modeller arasında seçim yaparken de önemli bir araçtır.

Başka bir notta, çapraz doğrulama neredeyse her zaman sadece öngörülü bir model oluşturmaya çalışırken kullanılır . Genel olarak, bazı tedavilerin etkisini tahmin etmeye çalıştığınızda modeller için çok yararlı değildir. Örneğin, gerilme mukavemetinin A ve B malzemeleri arasındaki dağılımını karşılaştırıyorsanız ("muamele" malzeme tipidir), çapraz doğrulama gerekli olmayacaktır; tedavi etkisi tahminimizin örneklemden genelleştirilmesini umuyoruz, ancak çoğu problem için klasik istatistiksel teori buna (yani tahminlerin "standart hataları") çapraz validasyondan daha kesin olarak cevap verebilir . Ne yazık ki, klasik istatistiksel metodoloji ¹standart hatalar için, aşırı sığdırma durumunda dayanmaz. Bu durumda çapraz geçerlilik genellikle daha iyi olur.

Öte yandan, bir materyalin 100.000 gözlem temelinde bazı makine öğrenme modeline attığınız 10.000 ölçülü değişkene dayanarak ne zaman kırılacağını tahmin etmeye çalışıyorsanız, çapraz doğrulama olmadan harika bir model oluşturmakta çok fazla sorun yaşayacaksınız!

Pek çok fizik denemesinde tahmin ediyorum, genellikle etkilerin tahmin edilmesiyle ilgileniyorsunuz. Bu durumlarda, çapraz doğrulamaya çok az ihtiyaç vardır.

¹ Bilgilendirici önceliklere sahip Bayes yöntemlerinin aşırı uydurmayı ele alan klasik bir istatistiksel metodoloji olduğu iddia edilebilir. Ama bu başka bir tartışma.

Yan not: çapraz doğrulama ilk olarak istatistik literatüründe ortaya çıkmış ve kesinlikle istatistikçi diyen insanlar tarafından kullanılsa da, makine öğrenimi topluluğunda temel bir gerekli araç haline gelmiştir. Birçok istatistik modeli, çapraz doğrulama kullanılmadan iyi çalışır, ancak "makine öğrenmesi öngörücü modeller" olarak kabul edilen hemen hemen tüm modeller, çapraz onaylamaya ihtiyaç duyduklarından , çoğu zaman çaprazlama yapmadan neredeyse imkansız olan ayar parametrelerinin seçilmesini gerektirirler. -validation.

(Analitik) kimyacı olarak , her iki yaklaşımla da karşılaşıyorum: liyakat figürlerinin analitik olarak hesaplanması (çoğunlukla tek değişkenli regresyon için) ve ayrıca liyakat tahmin rakamlarının doğrudan ölçümü.
Bana verilen tren / test, tahmin kalitesini ölçmek için bir doğrulama deneyinin "küçük kardeşi" dir.

Uzun cevap:

Örneğin lisans fizikokimyasında yaptığımız tipik deneyler tek değişkenli regresyon kullanır. İlgilenilen özellik genellikle model parametreleridir, örneğin reaksiyon kinetiklerini ölçerken zaman sabiti, ancak bazen de tahminlerdir (örneğin, ilgilenilen bazı değerleri tahmin etmek / ölçmek için tek değişkenli doğrusal kalibrasyon).
Bu durumlar aşırı uymama açısından çok iyi huyludur: tüm parametreler tahmin edildikten sonra genellikle rahat bir serbestlik derecesi kalır ve klasik güven veya tahmin aralığı hesaplaması ve klasik hata ile öğrencileri eğitmek için kullanılırlar. yayılma - bu durumlar için geliştirildi. Ve durum tamamen ders kitabı benzeri olmasa bile (örneğin verilerimde bir yapıya sahibim, örneğin kinetiklerde, verilerin reaksiyonun çalışmaları arasındaki fark + bir çalışmadaki ölçümler arasındaki fark ile daha iyi tanımlanmasını beklerdim. basit tek varyanslı yaklaşım), genellikle yararlı sonuçlar elde etmek için denemede yeterli sayıda çalışmam olabilir.

(Dağılımı özellikleri 1000'ler tipik 100'ler Ancak, benim meslek hayatımda, spektroskopik veri setleri ile anlaşma bağımsız olguda (örnekleri) oldukça sınırlı setleri ile üstelik) ve . Genellikle , bu yüzden kaç serbestlik derecesini kullandığımızı söylemek her zaman kolay olmayan bir düzenlileştirme kullanıyoruz ve buna ek olarak, küçük neredeyse tekrarlanan ölçümlerin (büyük) sayılarını kullanarak en azından biraz telafi etmeye çalışıyoruz. - hangi bilinmeyen etkili olan yapraklar bize . veya bilmedenn n < p n n n d $p$$n$$n < p$$n$$n$$n$$df$, klasik yaklaşımlar işe yaramıyor. Ama çoğunlukla tahminlerde bulunduğumdan, her zaman modelimin tahmin yeteneğini ölçmek için çok doğrudan bir imkanım var: Tahminler yapıyorum ve bunları referans değerlerle karşılaştırıyorum.

Bu yaklaşım, eğitim / kalibrasyon verilerinde yer almayan koşullar için de öngörücü kaliteyi araştırmamı sağladığı için aslında çok güçlüdür (artan deneysel çaba nedeniyle maliyetli olsa da). Örneğin, tahmin niteliğindeki kalitenin ekstrapolasyonla nasıl kötüleştiğini ölçebilirim (ekstrapolasyon, örneğin eğitim verilerinin alınmasından bir ay sonra yapılan ölçümleri de içerir), önemli olmasını beklediğim karıştırıcı faktörlere karşı sağlamlığı araştırabilirim. , diğer herhangi bir sistemin davranışını incelerken modelimizin davranışını inceleyebiliriz: belirli noktaları araştırırız veya bozarız ve sistemin cevabındaki değişime bakarız.

Öngörücü kalitenin ne kadar önemli olduğunu (ve aşırı uyum riski ne kadar yüksekse) analitik olarak türetilmiş sayılardan ziyade doğrudan kestirim kalitesi ölçümlerini tercih etme eğilimimiz olduğunu söyleyebilirim. (Elbette tüm bu karışıklıkları eğitim deneyinin tasarımına da dahil edebilirdik). Tıbbi teşhis gibi bazı alanlar, model gerçek hastalarda "gevşemeden" önce uygun validasyon çalışmalarının yapılmasını talep eder.

Tren / test bölünmesi (tutma * veya çapraz doğrulama veya önyükleme dışı veya ...) bu tek adımı kolaylaştırır. Ekstra deneyi saklıyoruz ve tahmin etmiyoruz (sadece eğitim verilerinin aynı dağılımının bilinmeyen bağımsız vakalarını öngörmeyi genelleştiriyoruz). Bunu validasyondan ziyade doğrulama olarak tarif ederdim (validasyon buradaki terminolojide derinlemesine olmasına rağmen). Bu, liyakat figürlerinin kesinliği konusunda çok yüksek talepler yoksa, genellikle bir kavram kanıtı senaryosunda çok kesin olarak bilinmeleri gerekmeyecekse, pragmatik bir yöntemdir.

* Tek bir rastgele bölünmeyi trene karıştırmayın ve tahmin kalitesini ölçmek için uygun şekilde tasarlanmış bir çalışma ile test etmeyin.