Kaggle müsabakaları şans eseri mi kazanıldı?

Kaggle müsabakaları, kalıcı bir test setine göre son sıralamaları belirler.

Bekletilen bir test seti bir örnektir; modellenen popülasyonu temsil etmeyebilir. Her sunum bir hipotez gibi olduğundan, rekabeti kazanan algoritma, toplam şans eseri, test setini diğerlerinden daha iyi eşleştirebilir. Başka bir deyişle, farklı bir test seti seçildiyse ve yarışma tekrarlandıysa, sıralama aynı kalır mı?

Sponsor şirket için, bu gerçekten önemli değil (muhtemelen ilk 20 başvuru temel çizgilerini geliştirecektir). İronik olarak, diğer ilk beşten daha kötü olan birinci sınıf bir model kullanabilirler . Ancak, yarışmaya katılanlar için Kaggle nihayetinde bir şans oyunu gibi görünüyor - doğru çözüme rastlamak için şansa gerek yok, test setine uyana rastlamak gerekiyor!

İstatistiksel olarak ayırt edilemeyen en iyi takımların kazanması için rekabeti değiştirmek mümkün müdür? Ya da, bu grupta, en cimri veya hesaplamalı olarak ucuz model kazanabilir mi?

Evet, mantığınız doğru. Farklı bir test seti seçilmiş ve yarışma tekrarlanmış olsaydı, sıralama gerçekten değişecektir. Aşağıdaki örneği ele alalım. İkili etiketlerle bir Kaggle yarışmasına yapılan tüm girdiler, çıktılarını tahmin etmek için rastgele (ve bağımsız olarak) tahmin eder. Şans eseri, herhangi bir tahmin yapılmasa da, biri diğerlerinden daha fazla anlaşmaya varacaktır.

Bu biraz çelişkili olsa da, gönderimin modellerindeki her bir varyansın, bu tür birçok girişin uygulanmasının gerçekten de dağıtım setinin gürültüsüne uyacağı anlamına geldiğini görebiliriz. Bu bize (münferit model farklılıklarına bağlı olarak) top-N modellerinin muhtemelen aynı genelleme yaptığını söyler. Bu yolları çatallanmasını bahçesi "araştırmacı" haricinde aynı değildir (ama bu önemli değil).

Test setindeki en yüksek performanstan istatistiksel olarak ayırt edilemeyen tüm takımların kazanması için yarışmayı değiştirmek mümkün müdür?

Aslında.

• Bir yaklaşım (olduğu gibi pratik değildir), her bir girişte belirli bir modelin varyansını açık bir şekilde çözmek olacaktır, bu da bize yayın performansları hakkında bir CI verecektir.
• Çok fazla hesaplama gerektirebilecek diğer bir yaklaşım, tüm modellere bir eğitim ve test API'sı göstererek, bir performans göstergesinde bir CI önyükleme yapmaktır.

Kaggle'da şans unsurları olmayan başka yarışma türleri de var. Örneğin, bu Stanta'nın Çalıntı Kızağı .

Ayrık bir optimizasyon problemidir ve özel liderlik kurulu bile yoktur. Kamu lider yönetim kurulunda gördüğünüz nihai sonuçtur.

Birçok insan için kolay bir başlangıç ​​olan denetimli öğrenmeye kıyasla, bu tür rekabet doğada daha "zor" dur.