Bu soruyu seviyorum çünkü her organizasyonda var olan politikaya giriyor. Benim görüşüme göre ve önemli ölçüde, model performansına ilişkin beklentiler bir organizasyonun "teknik olarak okuryazar" olduğu kurum kültürünün ve derecenin bir işlevidir. Ne demek istediğimi açıklığa kavuşturmanın bir yolu, 4 büyük "veri bilimi" varlığı - Google, FB, Amazon ve Yahoo gibi - 4 büyük ajans tutma kuruluşu - WPP, Omnicon, Interbrand ve Publicis arasındaki farkları göz önünde bulundurmaktır. Google ve diğerleri çok teknik olarak okuryazar. Öte yandan, acentelerin teknoloji fobisine yaslandıkları bilinmektedir. Bunun kanıtı nedir? Öncelikle, teknik olarak okuryazar olan grup, mühendisler, bilgisayar bilimcileri, meraklılar ve güçlü teknik geçmişine sahip insanlar tarafından kuruldu veya yönetiliyor. Teknoloji okuma yazma bilmeyen şirketleri kim işletiyor? Yumuşak iletişim ve insan yetenekleri sayesinde öne çıkan pazarlamacılar. Ve sadece bu değil, NYC'deki bu dükkanların bazılarında çalıştım, bu kuruluşların yüksek teknik olarak okur-yazar olan türleri kültürle “uygun” olmadığı için sistematik olarak cezalandırdığını ve / veya zorladığını söyleyebilirim. Ardından, toplam (borsa) piyasa sınırlarını göz önünde bulundurun, Teknoloji okuryazar grubu yaklaşık 800 milyar dolara eklenirken, teknoloji okuma yazma bilmeyen grup 80 milyar tutarındadır. Teknoloji okuryazarlığı varlıkları, pazar başlığındaki diğerlerinden 10 kat daha büyüktür. Bu, piyasa beklentilerinin açık bir ifadesidir ve okuma yazma bilmeyenler için yüksek değildir. Öyleyse, fazladan tahminle, bunun gibi bozosun “öngörücü doğruluğu” beklentilerine meydan okumak için ne tür bir umut olabilir? NYC'deki bu dükkanların bazılarında çalıştıktan sonra, bu kuruluşların yüksek teknik olarak okuryazar olan türleri kültürle “uygun” olmadığı için sistematik olarak cezalandırdığını ve / veya zorladığını söyleyebilirim. Ardından, toplam (borsa) piyasa sınırlarını göz önünde bulundurun, Teknoloji okuryazar grubu yaklaşık 800 milyar dolara eklenirken, teknoloji okuma yazma bilmeyen grup 80 milyar tutarındadır. Teknoloji okuryazarlığı varlıkları, pazar başlığındaki diğerlerinden 10 kat daha büyüktür. Bu, piyasa beklentilerinin açık bir ifadesidir ve okuma yazma bilmeyenler için yüksek değildir. Öyleyse, fazladan tahminle, bunun gibi bozosun “öngörücü doğruluğu” beklentilerine meydan okumak için ne tür bir umut olabilir? NYC'deki bu dükkanların bazılarında çalıştıktan sonra, bu kuruluşların yüksek teknik olarak okuryazar olan türleri kültürle “uygun” olmadığı için sistematik olarak cezalandırdığını ve / veya zorladığını söyleyebilirim. Ardından, toplam (borsa) piyasa sınırlarını göz önünde bulundurun, Teknoloji okuryazar grubu yaklaşık 800 milyar dolara eklenirken, teknoloji okuma yazma bilmeyen grup 80 milyar tutarındadır. Teknoloji okuryazarlığı varlıkları, pazar başlığındaki diğerlerinden 10 kat daha büyüktür. Bu, piyasa beklentilerinin açık bir ifadesidir ve okuma yazma bilmeyenler için yüksek değildir. Öyleyse, fazladan tahminle, bunun gibi bozosun “öngörücü doğruluğu” beklentilerine meydan okumak için ne tür bir umut olabilir? Toplam (borsa) piyasa değerlerini göz önünde bulundurun, Teknoloji okuryazarlık grubu yaklaşık 800 milyar dolar eklerken teknoloji okuryazarlık grubu 80 milyar tutarındadır. Teknoloji okuryazarlığı varlıkları, pazar başlığındaki diğerlerinden 10 kat daha büyüktür. Bu, piyasa beklentilerinin açık bir ifadesidir ve okuma yazma bilmeyenler için yüksek değildir. Öyleyse, fazladan tahminle, bunun gibi bozosun “öngörücü doğruluğu” beklentilerine meydan okumak için ne tür bir umut olabilir? Toplam (borsa) piyasa değerlerini göz önünde bulundurun, Teknoloji okuryazarlık grubu yaklaşık 800 milyar dolar eklerken teknoloji okuryazarlık grubu 80 milyar tutarındadır. Teknoloji okuryazarlığı varlıkları, pazar başlığındaki diğerlerinden 10 kat daha büyüktür. Bu, piyasa beklentilerinin açık bir ifadesidir ve okuma yazma bilmeyenler için yüksek değildir. Öyleyse, fazladan tahminle, bunun gibi bozosun “öngörücü doğruluğu” beklentilerine meydan okumak için ne tür bir umut olabilir?
Bu nedenle, kültürel kopuşa ve düştiğiniz yere bağlı olarak, gerçekçi beklentilerinizin az ya da çok olması gerekir. Tabii ki, farklı "teknoloji okuma yazma bilmeyen" kuruluşlar ne yaptıklarını bilen yöneticilere sahip olacaklardır, ancak çoğu zaman bu varlıklara teknik becerilerdeki en düşük ortak payda aptallığı hakimdir, yani en iyi teknikte olan insanlar yarı okur yazarlar (ve tehlikeli) veya daha yaygın olarak, tamamen saygısız ancak bunu bilmiyorlar. Durumda, c-suite destelerden temizlenmiş "korelasyon" gibi kelimeler isteyen bir adam için çalıştım. Bu aşırı bir durum: sonuçta, her sekreter "korelasyon" un ne olduğunu bilir.
Bu, "Neden% 99 öngörülen doğruluk elde edemiyorsun?" İyi bir yanıt, "Neden böyle bir gerçek dışı yüksek PA'nın mümkün olduğunu varsayıyorsunuz?" Gibi bir soruyu cevaplamaktır. Bir diğeri, "Çünkü eğer gerçekten% 99 PA almış olsaydım, yanlış bir şey yaptığımı varsaydım." % 90 PA ile bile doğru olması muhtemel.
Model değer için tek kriter olarak PA'da ısrarın daha temel bir sorusu var. Son zamanlarda Leo Breiman, PA'nın bir olduğu istatistiksel ve kestirimci modelleme topluluğu üzerinde birçok ayak izi bıraktı. PA'ya olan asıl endişesi, 90'lı yıllarda, tek bir CART ağacının yönetilmesinde doğabilecek dengesizlik ve hata ile ilgili birçok eleştiriyi ele almaktı. Onun çözümü “rasgele ormanları”, ağaç yapısını ortadan kaldırarak doğruluğu en üst düzeye çıkaracak ve kararsızlığı azaltacak yaklaşık ve geçici bir yöntem olarak motive etmekti. Tek bir lojistik regresyon modelindeki hataya karşı, düşük MSE'yi ~ 1000 yinelemeli RF "mini-model" den kıyasladı. Tek sorun, göz kamaştırıcı elmaları portakal karşılaştırması yapmaktan hiç rahatsız etmemesiydi:
2008 Netflix Ödülü, öneri sistemlerinin MSE'sini geliştirebilecek herhangi bir istatistikçiye veya takıma büyük miktarda para ödülü verdi. O zamanlar Netflix bu sisteme yılda 150 milyon dolar harcıyordu, masrafların müşteri sadakatinde ve başka türlü seçilmeyen filmlerin alımında geri kazanıldığından daha fazla olduğuna ikna olmuştu. Sonunda kazananlar, 107 farklı modelden oluşan karmaşık bir topluluk kullandılar.
Ancak Netflix'in öğrendiği gibi, asıl sorun, tamamen yüklü bir maliyet perspektifinden, mevcut modellerine göre hatalardaki gerçek iyileşmenin 5 puanlık puanda sadece% 0,005'lik bir azalma olmasıydı. BT'nin zaman içinde maliyeti olduğunu söyleme, 107 model kazanan takımın ağır kaldırma ve bakımının, hata azaltmadaki kazancı iptal etmekten daha fazla olduğu anlamına gelmez. Bu göz önüne alındığında, Netflix sonunda MSE'nin peşinden ayrıldı ve artık Netflix Ödülü'ne layık görülmedi
Ve işte bu nokta şudur: prediktif hatayı en aza indirgemek, kolayca oynanabilir ya da saldırıya uğrayabilir ve analist sahtekarlığına eğilimli olabilir (yani, analistin modelleme becerilerini yücelten, potansiyel yıl sonu bonusunu olumlu yönde etkileyen bir çözüm bulma). Dahası, ekonomik ve ticari boşlukta belirlenen tamamen istatistiksel bir çözüm ve amaçtır. Metrik, yardımcı yan teminat maliyetlerinin çok az veya hiç dikkate alınmamasını sağlar - A'dan Z'ye değerlendirilen ve tam yüklü, takas bazlı karar verme sürecinin ayrılmaz bir parçası olması gereken çok gerçek operasyonel sonuçlar.
Bu organizasyonlara gömülü olan sorunlardan biri haline geldi ve değiştirilmesi çok, çok zor. Başka bir deyişle, PA kullanımıyla uyarılar hakkında bu öfkeyle yel değirmenlerinde eğildiğimin farkındayım.