Öngörücü performans, yöntemden ziyade veri analistinin uzmanlığına mı bağlıdır?

Bazı çalışmaların, tahmin modellerinin performansının, yöntem seçiminden ziyade seçilen yöntemle veri analistinin uzmanlığına bağlı olduğunu gösterdiğine dair bir söylenti ile karşılaştım.
Başka bir deyişle iddia, veri analistinin seçilen yönteme aşina olmasının, yöntemin problem için daha uygun bir teorik açıdan ne kadar "uygun" görüneceğinden daha önemli olduğudur.

Bu, tipik olarak birçok varyantın (100'ler - 1000'ler), çoklu eşdoğrusallığın ve elbette çok az örneğin problemlerini içeren kemometri bağlamında belirtilmiştir. Tahmin sınıflandırma veya regresyon olabilir.

Kişisel deneyimim bunun mantıklı olduğunu gösteriyor , ancak bir çalışmadan bahsedildi (hızlı ama başarısız bir aramadan sonra e-postayla bahseden kişiye hiç cevap alamadım). Bununla birlikte, daha ayrıntılı bir arama ile, herhangi bir makaleyi izleyemedim.

Bu tür bulguların farkında olan var mı? Değilse, Big Guys'ın kişisel deneyimi ne diyor?

predictive-models method-comparison

— SX ile mutsuz cbeleites
kaynak

Buralarda daha Little Guy değilim, ama ne Sinir Ağları gördük bu hipotezi destekler: far "makine öğrenir" bir şey, başarılı sınıflandırma veya öngörü bağlı görünüyor bir "kutunun dışında" aracı olmaktan bir kişinin ne kadar akıllı olduğuna dair çok şey , ağa verilerden nasıl öğrenileceğini söyler - en önemlisi veri önişleme açısından değil, aynı zamanda ağ mimarisi açısından da

— Stephan Kolassa

Sanırım bu, en yakın komşuları regresyon tipi yöntemlerle karşılaştırdıkları İstatistiksel Öğrenme Unsurları'ndan şekil 2.4'tür (ve elbette kitap boyunca çok sayıda karşılaştırma noktası da sağlarlar).

— StasK

@StasK: hatırlatma için teşekkürler (hatırlamadığım için utanç). Ayrıca uygulamada PCR, PLS ve sırt regresyonunun çok benzer olduğunu ve LDA ve lojistik regresyonun da olduğunu bildirmişlerdir. Ancak, ikinci yöntemler de teorik açıdan çok benzerdir.

— Sb ile mutsuz cbeleites

Aslında, iyi öğrenme makinelerinin genellikle uzmanlardan daha iyi olduğuna dair bir söylenti duydum, çünkü insan eğilimi, yeni veri kümesinde zayıf tahmin performansına yol açacak şekilde önyargı pahasına varyansı en aza indirmektir . Makine MSE'yi en aza indirecek şekilde kalibre edilmiştir ve bu nedenle yeni bir veri kümesinde tahmin açısından daha iyisini yapma eğilimindedir .

— guest47
kaynak

Benim tecrübelerime göre, insanların fazla giymeye meyilli olduğu kesinlikle doğrudur. Ancak, tecrübelerime göre, uygun olmayan öğrenme makinesini seçen iyi bir uzmana da ihtiyacınız var. Aksi takdirde birisi sadece uygun olan bir öğrenme makinesi seçer.

— Sb ile mutsuz cbeleites

Genel olarak MSE, modeli çok fazla kısıtlamadığınız sürece aşırı donmaya karşı koruma sağlamaz - ve uzman tekrar gelir. Bununla birlikte, insanlar model hiperparametreleri optimize etmeye çalışırlar. Her bir yineleme için tamamen yeni bir bağımsız test verisi seti sağlayamayacağınız sürece, özellikle yinelemeli optimizasyon stratejileri gereğinden fazla (MSE veya değil). Belki de test vakalarının çok nadir olduğu bir alandan geldiğimi söylemeliyim. Ve her durumda, bunun iyi bir öğrenme makinesi olmadığını iddia edebilirsiniz .

— SB ile mutsuz cbeleites