Hava durumu görevlim doğru mu?

Bir süre beni rahatsız eden bir soru, nasıl ele alınacağını bilmiyorum:

Her gün hava durumu görevlim yüzde bir yağmur şansı veriyor (diyelim ki 9000 basamağa hesaplandığını varsayalım ve asla bir sayıyı tekrarlamamış). Sonraki her gün yağmur yağar veya yağmur yağmaz.

Yıllarca verim var - yağmur ya da değil vs pct şansı. Bu hava durumunun geçmişi göz önüne alındığında, bu gece yarının yağmur şansının X olduğunu söylüyorsa, yağmur şansının gerçekte ne olduğuna dair en iyi tahminim nedir?

Aslında hangi bir modelin düşündüğünü gerçek yağmur, şansı p , bir işlevidir tahmin şans q : p = p (q ). Her tahmin yapıldığında, başarı olasılığı p (q) olan bir Bernoulli varyantının gerçekleştiğini gözlemliyorsunuz . Bu, gerçek şansı f1 , f2 , ..., fk temel işlevlerinin doğrusal bir kombinasyonu olarak modellemek istiyorsanız klasik bir lojistik regresyon düzeneğidir . yani, model diyor ki

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

iid hatalarıyla e . İlişkinin formu hakkında agnostik iseniz (hava durumu öğrencisi iyi bir p (q) - q makul derecede küçük olsa da), temel için bir dizi spline kullanmayı düşünün. Çıktı, her zamanki gibi, katsayıların tahminlerinden ve e'nin varyansının bir tahmininden oluşur . Gelecekteki herhangi bir tahmin q verildiğinde , sorunuza bir cevap almak için değeri tahmin edilen katsayılarla modele takın (ve isterseniz bu cevabın etrafında bir tahmin aralığı oluşturmak için e varyansını kullanın ).

Bu çerçeve, zaman içinde tahminlerin kalitesinde değişiklik olasılığı gibi diğer faktörleri içerecek kadar esnektir. Ayrıca, p = q (hava koşullarının dolaylı olarak iddia ettiği şey) gibi hipotezleri test etmenizi sağlar .

İkili olay (veya ayrık Rastgele Değişken) için olasılık tahmininin karşılaştırılması Brier skoru üzerinden yapılabilir

$\tau$$\tau$

Avrupa orta menzilli hava durumu tahminlerinin ( ECMWF ) nasıl yapıldığına bir göz atmalısınız .

Tahmin, "(bölgede) yüzde X yağmur olasılığı" dediğinde, sayısal hava durumu modelinin söz konusu zaman aralığı boyunca alanın yüzde X'inde yağmura işaret ettiği anlamına gelir. Örneğin, normalde "Kuzey Amerika'da yüzde 100 yağmur şansı" tahmin etmek doğru olur. Modellerin dinamikleri tahmin etmede iyi ve termodinamiği tahmin etmede zayıf olduğunu unutmayın.

Brier Skor yaklaşımı çok basit ve en doğrudan uygulanabilir yolu ikili olayın karşısında tahmin sonucun doğruluğunu.

Sadece formüllere güvenmeyin ... puanları farklı zaman periyotları, veriler, hatalar, [ağırlıklı] veri ortalaması, hatalar için çizin ... görsel analizin ne ortaya çıkarabileceğini söylemek zor ... düşündükten sonra Eğer daha iyi SONRA gerçekleştirmek için tür hipotez testi ne bilecek, bir şey görmek bakmak verilere.

Brier Score doğal olarak tahmin modellerini yönlendiren varyasyon / temel dağılımların hava ve teknolojisinin kararlılığını varsayar, doğrusallık eksikliği, önyargı yok, sapmadaki değişiklik eksikliği ... aynı genel doğruluk / yanlışlık seviyesinin tutarlı olduğunu varsayar. İklim henüz anlaşılmayan şekillerde değiştikçe, hava tahminlerinin doğruluğu azalacaktır; tersine, hava durumu bilgisine bilgi veren bilim adamlarının daha fazla kaynağı, daha eksiksiz modelleri, daha fazla bilgi işlem gücü vardır, bu yüzden belki de tahminlerin doğruluğu artacaktır. Hatalara bakmak, tahminlerin istikrarı, doğrusallığı ve yanlılığı hakkında bir şeyler söyleyecektir ... eğilimleri görmek için yeterli veriye sahip olmayabilir; kararlılık, doğrusallık ve yanlılığın bir sorun olmadığını öğrenebilirsiniz. Hava tahminlerinin daha doğru olduğunu öğrenebilirsin ...

Sadece verilen tahminleri haznelemeye ve gözlenen kesirleri her bir hazne için tahmininiz olarak almaya ne dersiniz?

Bir Gaussian tarafından ilgilendiğiniz değerin etrafındaki tüm gözlemleri (yarına kadar tahmin edin) tartarak ve ağırlıklı ortalamanın ne olduğunu görerek bunu sürekli bir modele genelleştirebilirsiniz.

Verilerinizin belirli bir bölümünü elde etmek için bir genişlik tahmin edebilirsiniz (veya iyi bir tahmin için asla 100 noktadan az olamaz). Alternatif olarak, Gauss genişliğini elde etmek için maksimum olasılığın çapraz doğrulanması gibi bir yöntem kullanın.

Tahmininin başka bir tahminden daha doğru olup olmadığını bilmek ister misiniz? Öyleyse, çapraz entropi, hassasiyet / hatırlama, ROC eğrileri ve f1 skoru gibi olasılıksal sınıflandırma için temel doğruluk metriklerine bakabilirsiniz.

Tahminin nesnel olarak iyi olup olmadığını belirlemek farklı bir konudur. Bir seçenek kalibrasyona bakmaktır. % 90 yağmur ihtimali olacağını söylediği tüm günlerden, o günlerin yaklaşık% 90'ında yağmur var mıydı? Tahmini olduğu tüm günleri alın ve yağmur olasılığı tahminiyle onları kovalayın. Her kova için, yağmurun gerçekte meydana geldiği günlerin yüzdesini hesaplayın. Daha sonra her kova için yağmur olasılığı tahminine karşı gerçek yağmur olasılığını çizin. Tahmin iyi kalibre edilmişse grafik düz bir çizgi gibi görünecektir.