İstatistikçiler otomatikleştirilemeyen ne yapar?

Yazılım sonuçta istatistikçileri eskimiş kılacak mı? Bir bilgisayara programlanamayan ne yapılır?

@Adam, eğer istatistik araştırmalarını diğer alanlardakilerle benzer şekilde düşünürseniz - mevcut metodoloji ve bilgiyi geliştiren kişiler - o zaman ilk sorunuzun cevabını 'Hayır' olarak daha açık hale getirebilir.

Kolayca korunmuş yazılım paketleri uygulayarak geçimini sağlayan istatistikçiler, sonuçların yorumlanması gereken bir makalenin tartışma bölümünü yazmak dışında muhtemelen her adımda bilgisayarlarla değiştirilebilir. Yani, bu anlamda, evet - otomatikleştirilebilir (bir cehennem doğal dil işlemciye sahip karmaşık bir yazılım olması gerekmesine rağmen).

Ancak, çoğu araştırmacının nihayetinde belirttiği gibi, insanların sıklıkla kullandığı "konserve" rutinleri oldukça sınırlıdır ve özel araştırma sorularını cevaplamak için değiştirilmeli (ya da tamamen yeni yöntemler geliştirilmelidir) - istatistiklerin insani yönünün vazgeçilmez olduğu yer burasıdır. . Veya bir araştırmacı, klasik yöntemler kullanılarak cevaplanabilecek biraz farklı, ancak ilgili bir araştırma sorusunu çözmelidir.

Tanıdığım çoğu istatistikçi, asıl rollerinin yeni bir metodoloji geliştirmek olduğu araştırma işlerinde (örneğin profesörler, araştırma bilim adamları) çalışıyor. Bu işlem otomatikleştirilebilirse, bir bilgisayarın faydalı yeni metodolojiyi formüle edip ortaya çıkarabileceği anlamına gelirse, o zaman her alandaki araştırmacıların modası geçmiş olacağından korkuyorum.

Bilgisayarlar, istatistikçileri ancak güçlü AI insanı bir bütün olarak eskimiş hale getirdiğinde eski kılar.

Soru bana, "Bu sağlam istatistiksel yöntemlerin tümü varsa, neden insanlar hala başka yöntemler kullanıyor?" Sorusunu hatırlatıyor. Cevabın bir kısmı alışkanlık ve eğitimdir, ancak çoğu sorunun saf olduğudur: "sağlam", "ima ettiği şey hakkında düşünmek ve anlamak zorunda değilsiniz" anlamına gelmez.

Demek istediğim, bugün R istatistik paketini indirebilir ve akşama kadar herhangi bir temel istatistiksel tekniği yapıyor olabilirsiniz. Daha sonra birkaç paket indirebilir ve ezoterik yöntemleri kullanmaya başlayabiliriz, çoğumuz bile duymazdık. Soru şu: makul cevaplar alır mısınız? Cevap büyük ihtimal ile hayır.

Algoritmalar otomatikleştirilmiştir, ancak yine de tüm araştırma yolu boyunca birçok yargılama çağrıları yapmanız gerekir: saldırı planından sonuçların gerçekten mantıklı olup olmadığına dair nihai karara kadar. Bu noktaya gelmek için, “İnsan, söyle bana…” diyebileceğiniz Star-Trek benzeri bilgisayarlardan bahsediyorsunuz.

Bir istatistikçi bir bilgisayarın yapamadığı ne yapabilir? Değiştirildikleri orijinal programı yazın.

Aptalca bir cevabın ötesinde, sorunun temeli, gerçek istatistik bilimini mekaniğinin lehine görmezden gelmek ve yaratıcı sürecin istatistiksel analizdeki rolünü tamamen azaltmaktır. Bu, Peter Flom'un otomobil örneğini kullanmak için, arabaların perçinler ve kaynaklar kullanılarak yapıldığını söylemek gibi, bu yüzden yeni Mustang'ın perçinleme ve kaynak robotları ile tasarlanmamasının bir nedeni yok.

İstatistik yapmanın muazzam bir miktarı konu uzmanlığı, karar çağrıları ve yaratıcılıktır. Bir algoritmadan çalışan "Konserve" analizi çoğu zaman size en iyi cevabı vermez ve otomatik metotları kullanmanın size yanlış bir cevap verdiği ya da en azından aldığınızı düşündüğünüz cevabın verildiği sayısız belgeli örnek vardır . Kademeli p-değeri temelli değişken seçim prosedürlerinin kullanımı ve tamamen sayısal olarak tanımlanmış niceliklere dayalı analizler, en aşina olduğum iki şeydir, ancak orada başkalarının zenginliklerini bulabileceğinizden eminim.

Tüm bunlar hala bir şekilde otomatikleştirilmiş olsa bile, sonuçların yorumlanması sorunu var. Bir regresyon katsayısı veya p değeri elde ettiğinizde istatistikçinin (veya istatistiksel olarak eğimli bilim adamının) işi bitmez. Bu bulgunun anlamı ne ? Uyarılar nelerdir? Bu, daha önce gelenler bağlamında neyi temsil ediyor?

Son olarak, yeni yöntemlerin geliştirilmesine sahip olursunuz. İstatistikler, uzun zaman önce isimlerini tanıdığımız insanlar tarafından ortaya konan bir şey değildir - Fisher, Cox, vb. Gelişen bir alandır ve bir kişi metodu geliştirinceye kadar bilgisayara yeni bir yöntem programlayamazsınız.

Bu soruyu yorumlamanın bir başka yolu da şu olabilir: "son yıllarda otomatik istatistik tekniklerindeki hızlı artış, özel istatistikçilere ve veri analistlerine yönelik işlerde azalmış bir talebe karşılık geliyor mu?"

Bu soruya verilere bakarak cevap verebiliriz.

İndeed.com ve devrimler blogunun izniyle

Sorunun öncülüne tamamen katılıyorum, yani bilgisayarların istatistikçilerin yerini almasının hiçbir yolu olmadığını, ancak neden böyle düşündüğüme dair somut bir örnek vereceğimi düşünüyorum:

İstatistikçilerin, özellikle deneylerin tasarımı ve yorumunda bilim insanlarıyla yaptıkları çalışma, sadece bir insan aklı değil, bilgisayarların gösterebileceği düşünülebilecek bir felsefi bükülme bile gerektiriyor.

Tabi ki bir çeşit Skynet tipi durumla karşılaşmadıkça, elbette ki bu durumda tüm bahislerin muhtemelen tüm istatistikçilerin aklına gelmeyecek kadar tüm insanlığın geleceğine kadar kapalı olduğunu tahmin ediyorum :-)

Soru bir istatistikçinin saf bir görüşünü ortaya koyuyor - bunun ap <0.05 olup olmadığını kontrol etmek ve bazı rakamları ve standart grafikleri rapor etmekle ilgili olduğu. İstatistiği kastettiğiniz şey buysa, imalarınızda çoğunun tamamen otomatik olabileceği konusunda haklısınız. Fakat istatistikçinin anlamı bu değil.

İstatistikçi teriminizi tanımlayın, ancak daha iyi cevaplar alabilirsiniz.

Bilgisayarınıza bir istatistik paketi yüklemek sizi araba satın almaktan daha fazla istatistikçi yapmaz.

İstatistikçi sadece "konserve" rutinleri uygulasa bile, birçok soru var.

1. Hangi rutin? Hangi rutin müşterinin sorularına cevap verecek?
2. Hangi değişkenlerle? ve onlar dönüştürülmeli mi? Bazı seviyeler birleştirilmeli mi? Hangisi modele girmeli?
3. Hangi verilerle? Aykırıklar silinmeli mi? Kesilen? Belki sağlam bir yöntem?

ve bunun gibi.

Ancak, iş bilgisayar açılmadan önce başlar ve istatistiksel paket kapatıldıktan çok sonra biter.

Önce: Müşteri ne yapmak istiyor? Genellikle bu çok iş! Müşterinin hangi verileri var? Oy vey! Değişkenler V1 ila V828171 olarak etiketlenmiştir. Hangileri? Edebiyatın durumu nedir? Müşteri ne bekleyecek? Ne kadar teknik olmalı?

Sonra: Sonuçlar ne anlama geliyor ? (ve sadece "bu, regresyonun önemli olduğu anlamına gelmez" değil) sonuçlar müşteriye nasıl açıklanmalı? Sonuçlar başka hangi soruları gündeme getiriyor?

Sanırım bilgisayarların bunu yapması çok uzun zaman alacak.

Farklı mesleklerin veya görevlerin otomasyonu olasılığını inceleyen akademik çalışmalar, istatistikçilerin yakında bilgisayarlarla yer değiştireceğini düşünmüyor. Örneğin, meslekleri bilgisayarlaşma olasılıklarına göre sıralayan tartışmalı Frey & Osborne (2013) çalışmasına bakın, istatistikçiler% 22'lik bir olasılıkla 702'den 213'e düşmüştür (ek tabloya bakınız). Daha fazla ilgileniyorsanız, buradaki Slate makalesine de bakın .

Arntz ve diğ. (2016) ( burada bir The Economist makalesi) Avrupa Birliği'ne yönelik meslekler yerine görevlere bakar ve benzer bir sonuca varır: "Karmaşık Matematik veya İstatistik" yapmak, iş otomatiğiyle ilgili istatistiksel olarak anlamlı derecede olumsuzdur (bkz. Tablo 3).

Ancak bazı uyarılar önerilebilir, akademisyenler ve / veya ekonomistler geleceği tahmin etmede her zaman çok iyi değillerdi (örneğin Nobel ödüllü Robert Lucas, 2003'te finansal krizlerden birkaç yıl önce, “depresyonun önlenmesi gibi merkezi bir sorun olduğu sonucuna varmıştı. tüm pratik amaçlar için çözüldü ve gerçekte onlarca yıldır çözüldü. " ). Her iki çalışma da, tartışılan ancak standart hakemli dergilerde yayımlanmayan çalışma kağıdı gibi görünmektedir.

Akademik tartışma ile ilgili olarak, burada otomasyonla ilgili araştırmaların durumu hakkında genel bir makale bulabilirsiniz.

AI'nın istatistikçileri daha akıllı ve daha rekabetçi hale getireceğini düşünüyorum. Niye ya? Çünkü bu, yapay zekanın amacı, onlarca yıl önceki anlayışlarından beri ...