Taleb ve Kara Kuğu

Taleb'in kitabı "The Black Swan", birkaç yıl önce çıktığında New York Times'ın en çok satanıydı. Kitap şimdi ikinci baskısında. Bir JSM'de istatistikçilerle buluştuktan sonra (yıllık bir istatistik konferansı), Taleb istatistik istatistik eleştirisini bir miktar azalttı. Ancak kitabın itici gücü, istatistiklerin çok kullanışlı olmadığı, çünkü normal dağılıma ve çok nadir olaylara dayanıyor: “Kara Kuğular” normal dağılıma sahip değil.

Bunun geçerli bir eleştiri olduğunu mu düşünüyorsun? Taleb, istatistiksel modellemenin bazı önemli yönlerini eksik mi? Nadir olaylar en azından oluşum olasılıklarının tahmin edilebileceği şeklinde tahmin edilebilir mi?

Black Swan'ı birkaç yıl önce okudum. Kara Kuğu fikri iyidir ve lütufsuz yanılsamaya karşı saldırı (şeyleri zar gibi oyun görürsün, bilinebilir olasılıklar var) iyidir, ancak istatistikler çılgınca yanlış temsil edilir, asıl sorun değişkenlerin yanlış olması durumunda tüm istatistiklerin dağıldığının iddia edilmesidir. normal olarak dağıtılmaz. Talebi aşağıdaki mektubu yazmak için bu yönden yeterince rahatsız oldum:

Sevgili Dr Talebi

Geçenlerde "Kara Kuğu" okudum. Senin gibi ben Karl Popper hayranıyım ve kendimi bunun içinde olduğu konusunda hemfikir olduğumda buldum. Bence senin sahte yanıltıcılığını söylemen temelde sağlam ve gerçek ve sık karşılaşılan bir soruna dikkat çekiyor. Bununla birlikte, Kısım III’ün büyük kısmının, kitabın geri kalanını itibarsızlaştırma noktasına bile olsa, genel argümanınızı kötü bir şekilde azalttığını düşünüyorum. Kara Kuğular ve “bilinmeyen bilinmeyenler” ile ilgili argümanların Kısım III'teki bazı hatalara dayanmadan dayanakları üzerinde durduğunu düşünüyorum.

İşaret etmek istediğim ana konu - ve özellikle de yanlış anlaşılan sorunlar varsa cevabınızı aramak - uygulamalı istatistik alanını yanlış beyan etmenizdir. Benim düşünceme göre, bölüm 14, 15 ve 16, büyük ölçüde, istatistikleri ve ekonometriyi yanlış temsil eden saman adam argümanına dayanır. Tarif ettiğiniz ekonometri alanı, uygulamalı istatistik, ekonometri ve aktüeryal risk teorisi (Avustralya Ulusal Üniversitesinde, ancak oldukça standart görünen metinleri kullanarak) okurken öğrettiğim alan değil. Ortaya attığınız konular (Gauss dağılımlarının kısıtlamaları gibi) lisans düzeyinde bile iyi ve tam olarak anlaşılmış ve öğretilmiştir.

Örneğin, gelir dağılımının normal bir dağılımı nasıl takip etmediğini göstermek için bazı uzunluklara gidersiniz ve bunu genel olarak istatistiksel uygulamaya karşı bir argüman olarak sunarsınız. Yetkili hiçbir istatistikçi bunu asla iddia edemez ve bu konuyla başa çıkma yolları iyi bir şekilde oluşturulmuştur. Sadece en temel "birinci yıl ekonometri" seviyesindeki teknikleri kullanmak, örneğin değişkeni logaritmasını alarak dönüştürmek, sayısal örneklerinizi çok daha az ikna edici gösterecektir. Böyle bir dönüşüm aslında söylediklerinizin çoğunu geçersiz kılar, çünkü orijinal değişkenin varyansı ortalamaları arttıkça artar.

OLS regresyonları vb. Değiştirilmiş bir cevap değişkeni ile söylediğiniz gibi yapamayan bazı ekonomistlerin olmadığından eminim, ama bu onları uygunsuz ve iyi bir şekilde belirlenmiş teknikleri kullanarak uygunsuz hale getiriyor. Bunlar, gözlemlenen gerçek (Gauss olmayan) dağılımını yansıtan, gelir gibi değişkenleri modellemek için daha uygun yollar aramak için çok zaman harcayan lisans derslerinde bile başarısız olmuş olacaklardı.

Genelleştirilmiş Doğrusal Modeller ailesi, kısmen ortaya attığınız sorunları aşmak için geliştirilen tekniklerden bir tanesidir. Üstel dağılım ailesinin çoğu (örn. Gamma, Exponential ve Poisson dağılımları) asimetriktir ve dağılımın merkezi arttıkça artan, Gauss dağılımını kullanırken belirttiğiniz problemi çözen varyansa sahiptir. Eğer bu hala çok sınırlıysa, önceden var olan bir “şekli” tamamen bırakmak mümkündür ve basitçe bir dağılımın ortalaması ile varyansı arasında bir ilişki belirtmek mümkündür (örneğin, varyansın ortalamanın karesi ile orantılı olarak artmasına izin vermek), "olasılık-olasılığı" tahmin yöntemini kullanarak.

Elbette, bu modelleme biçiminin hala çok basit olduğunu ve geleceğin geçmiş gibi olacağını düşünmemizi sağlayan entelektüel bir tuzak olduğunu iddia edebilirsiniz. Doğru olabilirsiniz ve bence kitabınızın gücü benim gibi insanların bunu düşünmesini sağlamaktır. Ancak bölüm 14-16'da kullandıklarınız için farklı argümanlara ihtiyacınız var. Örneğin, Gauss dağılımının varyansının, ortalamasına bakılmaksızın (ölçeklenebilirlikle ilgili sorunlara neden olan) bağımsız olarak sabit olduğu gerçeğine verdiğiniz büyük ağırlık geçersizdir. Gerçek hayattaki dağılımların çan eğrilerinden ziyade asimetrik olma eğiliminde olduğu gerçeğine vurgu yapıyorsunuz.

Temel olarak, istatistiklere en basit yaklaşımın aşırı basitleştirilmesini almışsınız (ham değişkenlerin Gauss dağılımına sahip olduğu gibi saf modellemesi) ve büyük ölçüde bu tür bir aşırı basitleştirilmiş yaklaşımın eksikliklerini gösterdiniz. Daha sonra, tüm alanı itibarsızlaştırmak için boşluğu açmak için bunu kullanın. Bu ya mantıkta ciddi bir atlamalı ya da bir propaganda tekniğidir. Bu talihsiz bir durum çünkü genel argümanınızdan uzaklaşıyor, çoğu (dediğim gibi) geçerli ve ikna edici buldum.

Cevap olarak söylediklerini duymak isterim. Bu konuyu ilk dile getiren kişi olduğumdan şüpheliyim.

Saygılarımla

PE

Kitabı okumamıştım, ancak belirtildiği gibi, eleştiri bana oldukça mantıklı geliyor. Aşırı olaylar önemliyse, istatistik araç kutusunda, aşırı değer teorisi gibi uygun araçlara sahiptir ve iyi bir istatistikçi bunların nasıl kullanılacağını bilir (ya da en azından bunların nasıl kullanılacağını öğrenir ve bu amaçlarla yeterince meşgul olur. bakmak için analiz). Eleştiri, "istatistikler kötü çünkü yalnızca normal dağılımları bilen kötü istatistikçiler var" gibi görünüyor.

"Kitabın iticiliği istatistiklerin pek kullanışlı değil" diyerek yanlış olduğunu düşünüyorum. Kitabı okuduktan sonra, söylediği gibi, normal bir dağılım gösteren varsayımsal finans ya da menkul kıymet alım satımı gibi şeyler temelde kusurludur (aslında kitapta, bu modelleri tahminlerde bulunmak için kullandığını iddia eden insanları çağırır) , "şarlatanlar"). Taleb'e göre, normal dağılım maddi / fiziksel şeylerin (örneğin boy, kilo, yaşam süresi vb.) Değerlerini modelleme konusunda harika bir iş yaparken, piyasalar gibi sistemler genellikle insani duygularla tahrik edilir ve bu nedenle normal dağılımların doğru bir şekilde tahmin edemediği büyük salınımlar.

İstatistikleri iyi anlamıyorum ve buradaki cevapları okuyana kadar, aşırı değer teorisi gibi şeyleri hiç duymamıştım. Ne olursa olsun, Black Swan ve Fooled By Randomness , benzer bir önceliğe sahip gibi görünüyor, "normal dağılım her zaman tamam değil". İstatistiğin tüm alanını karartdığını hatırlamıyorum.

"Kara Kuğu" okudum, çok eğlendim ve bir istatistikçiyim. "İstatistik eleştirisini" hiçe dayanılmaz bulmamıştım. Noktadan noktaya:

1. Taleb siyah kuğu kavramını icat etmedi. Bir süredir felsefi düşüncede kayda değer bir örnek olmuştu!
2. Taleb, “istatistiklerini” çok (kötü) uygulamaları kadar eleştirmiyor.
3. Kitap çok satan biriydi. İstatistikçilere değil genel halka yönlendirildi. Halkın istatistikçilerin çok iyi bildiği şeyleri öğretmesi çok iyi oldu, ancak diğer okuyucuların çoğu (çoğunluğu!) Bilmiyordu. Böylece bu kitaptan istatistiklerin nasıl "satılacağı" hakkında çok şey öğrenebilirdik.
4. En önemlisi (benim için) Taleb, antik Yunan şüpheci felsefesine çok atıfta bulundu. Burada başka kimse bu noktadan bahsetmedi, ancak sanırım bu dahil olma kitabın gerçek satış noktasıydı!
5. Kitap edebi bir eser, teknik bir eser değil. Talebi teknik çalışmaları için eleştirmek istiyorsanız, anasayfasına gidin ve teknik yazılarının bir kısmını indirin.

Bu cevabı sevmeyen ya da kitabı beğenmeyenler için, Taleb'in yeni https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk adresindeki teknik argümanlarına bakabilirsiniz . pdf "Sessiz Riski", bir teknik.

Kara Kuğu'nu okumamıştım, ancak istatistik eleştirisi söylediğiniz kadar basitse, o zaman saçma. Açıkçası, bazı istatistikler Normal dağılıma dayanıyor, ancak çoğu yok.

Nadir olaylar modellenebilir mi? Tabii ki yapabilirler. Asıl soru ne kadar iyi modellenebildikleridir. Ve bu sorunun nadir olayları ve öncüllerini ne kadar bildiğimize bağlı olarak farklı alanlarda farklı cevapları olacaktır.

Bugünün NY Times Dergisi'nde, Nate Silver'ın son on yılda hava tahminlerinin nasıl geliştiği hakkında ilginç bir makale var. Bu, kasırgalar gibi nadir olayların daha iyi modellenmesini içerir.

Kitap okumaya değer mi?

Ayrıca kitabı okumamıştım, ancak amacının normal dağılımdan daha yağlı kuyruklu dağılımlar olduğunu söylemek kadar basit olması mümkün değil. Bu, diğer cevaplara bir yorum olacaktır, ancak bu web sitesinde yeterince fazla bilgi biriktirmedim.

Wikipedia'dan:

“İstatistiklerin, nadir görülen olayların riskini tahmin edemediği için bir alan olarak temelde eksik olduğunu belirtiyor…”

Bu soru, toplumun Dördüncü Çeyreğe ne aldığını da oldukça benzer.

Dennis Lindley'in bu kitabı incelemesini şiddetle tavsiye ediyorum. Kitaptaki fikirlerin kötü ve kibirli ifadelerine karşı yıkıcı argümanlar içerir:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abstract

Kara Kuğu “En Çok Satan” olmanın yüksek kaliteli içeriği garanti etmediği bir başka örnektir.

Talebin aslında Gauss dağılımına dayanan istatistiksel tekniklerin işe yaramadığını söyleyeceğini sanmıyorum. Kitaptaki amacı, fiziksel ya da biyolojik süreçlerin ve modellemelerin birçoğu (hepsi değil) için çok faydalı olduklarıydı. Bazı iyi noktaları ve bazılarını kötü kılıyor (Kara Kuğu ve Bağlantısı, bugün hala musallat olan “her şey bir güç yasası!” Vebalarının başındaydı), ancak kitabın edebi ve felsefi bir koleksiyon olduğunu hatırlamak önemlidir. meslekten olmayan kişi için yazılanlar.

Bu, Taleb'in insanları ağırlaştırmayı sevdiğini düşünüyorum. Bunu Myron Scholes ile yaptığı savaşta görebilirsiniz. Bu durumda, lisans düzeyinde ve bazen lisans düzeyinde, Gauss dağılımlarının varsayımına göre bir tür flört olarak istatistik eğitimi olarak faydalı olabilir. Finans alanındaki yılları boyunca Black-Scholes ve diğer tekniklerle ilgili çok fazla bilgisi olan ancak dağıtım gibi temel varsayımları dikkate almayan çok sayıda müşteriyle karşılaştığını hayal ediyorum. Talebin eğitim kurumunda düzgün eğitim almamak için uğraştığından şüpheleniyorum.

Kitabı okumamış olanlar, temelden uzaktadırlar. Ölçeklendirilebilir ile ölçeklendirilemez arasında büyük bir ayrım yapar. Ölçeklenebilir olmayan meseleler için geleneksel istatistikler yeterince iyi hizmet edecektir. Bunu hiçbir şekilde eleştirmiyor. Kara Kuğular ölçeklenebilirlikten kaynaklanmaktadır ve geçmişteki ampirik verileri önceden tahmin etmek zordur. Kitap, bu olayların nasıl büyük bir etkiye sahip olabileceği ile ilgili ve genel olarak ancak olaydan sonra açıklanmaktadır. Epistemoloji mükemmel.

Kitabı okumadan Gauss çanlarının başarısız olduğunu hissediyorum çünkü asla net bir "olasılık yoğunluğu" tanımı vermediler; Bunun yanı sıra, asla dağıtılmış değişkenin toplamını ve eskisini algılayan toplam popülasyonları içeren Lorenz eğrilerinin tam bir setini asla vermezler. Eğer "yoğunluk" kullanılıyorsa, hangi değişkene göre açıklamak gerekir; Örneğin, litre başına kilogramdan bahsediyorsanız, hacme bağlı ağırlık yoğunluğunu ifade eder. Bu adım Gauss teorisi tarafından ders kitaplarında verilmemiştir. Hiç şüphe yok ki genç insanlar istatistikleri doğru anlamıyor.