Çalışma ortamında doğru istatistikler yapmak mı?

Bu sorunun nereye ait olduğundan emin değilim: Çapraz Onaylı veya İşyeri. Ama sorum belirsiz bir şekilde istatistiklerle ilgili.

Bu soru (ya da sanırım sorular) bir "veri bilimi stajyeri" olarak çalışmam sırasında ortaya çıktı. Bu lineer regresyon modelini yapıyordum ve kalan arsaları inceliyordum. Heteroskedastisite belirtisi gördüm. Heteroskedastisitenin güven aralığı ve t-testi gibi birçok test istatistiğini bozduğunu hatırlıyorum. Bu yüzden üniversitede öğrendiklerimi takip ederek en az kare ağırlıklı kullandım. Müdürüm bunu gördü ve bana bunu yapmamamı tavsiye etti çünkü “işleri karmaşık hale getirdim”, bu benim için çok inandırıcı bir neden değildi.

Başka bir örnek "açıklayıcı bir değişkenin p değeri önemsiz olduğundan kaldırılması" olacaktır. Bu tavsiye, mantıklı bir bakış açısından mantıklı değildir. Öğrendiklerime göre, önemsiz p-değeri farklı nedenlerden kaynaklanabilir: şans, yanlış modeli kullanma, varsayımları ihlal etme vb.

Yine başka bir örnek, modelimi değerlendirmek için k-kat çapraz doğrulamayı kullandım. Sonuca göre , den çok daha iyi . Ancak model 1 için daha düşük bir ve bunun nedeni kesişme ile ilgili . Yine de amirim daha yüksek R ^ 2 olduğu için model 2'yi tercih ediyor gibi görünüyor . Onun nedenleri ( R ^ 2 gibi sağlam ya da çapraz doğrulama istatistiksel öğrenme değil, makine öğrenme yaklaşımıdır) fikrimi değiştirecek kadar ikna edici görünmüyor.$CV_{model 1}$$CV_{model 2}$$R^2$$R^2$$R^2$

Üniversiteden yeni mezun olan biri olarak kafam çok karıştı. Gerçek dünya sorunlarını çözmek için doğru istatistikleri uygulama konusunda çok tutkuluyum, ancak aşağıdakilerden hangisinin doğru olduğunu bilmiyorum:

1. Kendi başıma öğrendiğim istatistikler yanlış, bu yüzden sadece hata yapıyorum.
2. Şirketlerde teorik istatistikler ile yapı modelleri arasında büyük fark vardır. Ve istatistik teorisi doğru olmasına rağmen, insanlar bunu takip etmiyor.
3. Yönetici istatistikleri doğru şekilde kullanmıyor.

17.04.2017 Güncellemesi: Doktora yapmaya karar verdim. istatistiklerde. Cevabınız için hepinize teşekkür ederim.

Özetle, haklısın ve o yanlış. Veri analizinin trajedisi, birçok insanın bunu yapmasıdır, ancak kısmen az sayıda insan bunu kısmen veri analizinde zayıf bir eğitim ve kısmen ilgisizlik nedeniyle iyi yapar. Yazar listesinde bir istatistikçi veya makine öğrenimi uzmanı bulunmayan yayınlanmış araştırma makalelerinin çoğuna eleştirel bir göz atın ve -değerlerini sıfır hipotezinin doğru olma olasılığı olarak yorumlamak gibi temel hataları hızlı bir şekilde tespit edersiniz. .$p$

Bence yapılacak tek şey, bu tür bir durumla karşı karşıya kaldığında, yanlış uygulama ile ilgili neyin yanlış olduğunu bir veya iki örnekle dikkatlice açıklamaktır.

Kodiolog haklı - haklısın, yanılıyor. Ancak ne yazık ki bu karşılaştığınızdan daha yaygın bir yer problemidir. Aslında nispeten iyi performans gösteren bir sektördesiniz .

Örneğin, şu anda ürünlerle ilgili spesifikasyonların ayarlanması gereken bir alanda çalışıyorum. Bu neredeyse her zaman ürünleri / süreçleri bazı yollarla izleyerek ve araçları ve standart sapmaları kaydederek yapılır - daha sonra iyi eski$mean + 3*\sigma$ .

Şimdi, bu güven aralığının onlara gerçekten neye ihtiyaç duyduklarını söylememesi (bunun için bir tolerans aralığına ihtiyaçları var) dışında, bu, maksimum veya minimum değerin yakınında (ancak aralığın kazandığı yerlerde) körü körüne yapılır. t aslında bu değerleri aşmaz). Excel ihtiyaç duyduklarını hesaplayacağı için (evet, Excel dedim), parametrenin normal dağılıma yakın bir yerde olmayacak olmasına rağmen özelliklerini buna göre ayarlarlar. Bu kişilere temel istatistikler öğretildi, ancak qq grafikleri veya benzeri değil. En büyük sorunlardan biri, uygun olmayan şekilde kullanıldığında bile istatistiklerin size bir sayı vermesidir - bu yüzden çoğu insan ne zaman yaptıklarını bilmez.

Başka bir deyişle, endüstrilerin büyük çoğunluğunda, ürünlerin büyük çoğunluğuna ilişkin özellikler saçmalıktır.

İstatistikleri körü körüne takip eden insanların anlamadan en kötü örneklerinden biri, otomotiv endüstrisinde Cpk kullanımıdır. Bir şirket tedarikçileriyle bir ürünü tartışmak için yaklaşık bir yıl harcadı, çünkü tedarikçinin ürünlerini mümkün olmayan bir seviyeye kadar kontrol edebileceğini düşündüler. Bir parametreye yalnızca maksimum bir spesifikasyon (minimum değil) koyuyorlardı ve iddialarını haklı çıkarmak için Cpk kullandılar - hesaplamalarının (teorik bir minimum seviye ayarlamak için kullanıldığında - kontrol edilmemiş olmasını istemediklerine) işaret edene kadar ) büyük bir negatif değer ima etti. Bu, asla 0'dan daha az gidemeyen bir parametrede Cpk normal kabul eder, işlem normal verilere yakın bir yerde vermedi. Bunu batırmak uzun zaman aldı. Tüm bunlar zaman ve para kaybına neden oldu çünkü insanlar Ne hesapladıklarını anlamadı - ve fark edilmeseydi çok daha kötü olabilirdi. Bu, otomotiv endüstrisinde neden düzenli hatırlamaların olduğuna katkıda bulunan bir faktör olabilir!

Ben, kendim, bir bilim geçmişinden geliyorum ve açıkçası, bilim ve mühendislikte öğretim istatistikleri şok edici derecede yetersiz. Şu anda kullanmam gereken şeylerin çoğunu hiç duymamıştım - hepsi kendi kendine öğretildi ve şimdi bile bilgimde (uygun bir istatistikçiye kıyasla) büyük boşluklar var. Bu nedenle, istatistiği kötüye kullanan insanlara yalvarmıyorum (muhtemelen hala düzenli olarak yapıyorum), bu zayıf bir eğitim.

Yani, orijinal sorunuza geri dönmek, gerçekten kolay değil. Kodiolog'un bunları doğru bir şekilde kullanması için bunları nazikçe açıklamaya çalışma önerisini kabul ediyorum. Ancak , buna fazladan bir uyarı eklerim ve kariyeriniz uğruna savaşlarınızı akıllıca seçmenizi öneririm.

Bu talihsiz bir durum ama herkesin en iyi istatistikleri her seferinde yapmasını sağlayamayacağınız bir gerçek. Son genel sonuç için gerçekten önemli olduğunda bunları düzeltmeyi seçin (bu bazen işleri iki farklı şekilde kontrol etmek anlamına gelir). "Yanlış" yöntemini kullanmanın aynı sonuçlara yol açabileceği zamanlar vardır (örneğin, modeliniz 1,2 örneği). Çok fazla insanı çok sık düzeltmekten kaçının.

Bunun entelektüel olarak sinir bozucu olduğunu ve dünyanın farklı şekilde çalışması gerektiğini biliyorum - ne yazık ki çalışmıyor. Bir dereceye kadar savaşlarınızı meslektaşlarınızın bireysel kişiliklerine göre değerlendirmeyi öğrenmelisiniz. (Kariyer) hedefiniz, seçici bir kişi her zaman onları düzeltmeye çalışan değil, gerçekten yardıma ihtiyaç duyduklarında gittikleri uzman olmaktır. Ve aslında, eğer o kişi olursanız, muhtemelen insanların doğru şekilde dinlemelerini ve yapmasını sağlayan en başarılı olan yerdir. İyi şanslar.

Açıklanan şey biraz kötü bir deneyim gibi görünüyor. Bununla birlikte, kişinin kendi eğitim geçmişini ya da amirinin / yöneticisinin istatistiksel muhakemesini derhal sorgulamasına neden olan bir şey olmamalıdır.

$R^2$Gelecekte bir yerde asimtotik davranıştan ziyade iş, fazla bir şey ifade etmez. İnsanlar kabul etmeye isteksiz olacaklar; neden her şey (biraz) çalışırken değişmek için enerji harcayayım ki? Yöneticiniz işletme açısından yanlış olmayabilir. Bölümünüzün istatistiksel ve ticari kararlarından sorumludur; bu karar mutlaka her zaman çakışmaz ve büyük olasılıkla kısa vadeli çıktılarla çakışmaz (zaman kısıtlamaları endüstri veri analizinde çok önemli bir faktördür).

Benim tavsiyem (istatistiksel) silahlarınıza bağlı kalmak, ancak insanların ne yaptığına açık olmak, yeni istatistiksel uygulamalardan ayrılabilecek insanlara karşı sabırlı olmak ve istendiğinde tavsiye / fikir sunmak , daha kalın bir cilt büyütmek ve ortamınızdan öğrenmek. Doğru şeyleri yapıyorsanız, bu yavaşça gösterecektir, insanlar fikrinizi isteyecektir, çünkü mevcut iş akışlarının olmadığı yerlerde çözümler sunabileceğinizi fark edeceklerdir. Son olarak, evet, eğer makul bir süre sonra (en az birkaç ay), devalüe edildiğinizi ve saygısız olduğunuzu hissediyorsanız, sadece devam edin.

Artık endüstride olduğunuzu ve arkanıza yaslanamayacağınızı ve İstatistik eğitiminizi bilemenize gerek olmadığını düşündüğünüzü söylemeye gerek yok. Öngörülü modelleme, regresyon stratejileri, kümeleme algoritmaları gelişmeye devam ediyor. Örneğin, Gauss Süreçleri Regresyonunun endüstriyel bir ortamda kullanılması 10 yıl önce bilimkurguya yakındı; şimdi denemek için hazır bir şey gibi görülebilir.