İtibarın oylamaya etkileri konusundaki analizimi nasıl geliştirebilirim?

Son zamanlarda itibarın upvotes üzerindeki etkilerini analiz ettim ( blog yazısına bakın ) ve daha sonra muhtemelen daha aydınlatıcı (veya daha uygun) analiz ve grafikler hakkında birkaç sorum vardı.

Bu yüzden birkaç soru (ve özellikle herhangi birine cevap vermekten ve diğerlerini görmezden gelmekten çekinmeyin):

1. Enkarnasyondaki akımında, posta numarasını ortalamak istemedim. Sanırım bunun yaptığı şey, sayı sayımının alt ucuna doğru daha fazla yayın olduğu için dağılım grafiğinde negatif bir korelasyonun yanlış bir görünümünü vermek (bunun Jon Skeet panelinde, sadece ölümlü kullanıcılarda olmadığını görüyorsunuz) panel). Posta numarasını ortalamamak uygun değil mi?

2. Grafiklerden, skorun oldukça doğru çarpık olduğu açıktır (ve ortalama merkezleme bunu değiştirmedi). Bir regresyon çizgisini takarken, Huber-White kum hatalarını ( rlmMASS R paketinde ) kullanarak hem doğrusal modelleri hem de bir modeli sığdırıyorum ve eğim tahminlerinde herhangi bir fark yaratmadı. Sağlam regresyon yerine verilere bir dönüşüm düşünmeliydim? Herhangi bir dönüşümün 0 ve negatif puan olasılığını hesaba katması gerekeceğini unutmayın. Yoksa sayım verileri için OLS yerine başka bir model mi kullanmalıydım?

3. Son iki grafiğin genel olarak geliştirilebileceğine (ve geliştirilmiş modelleme stratejileriyle ilişkili olduğuna) inanıyorum. Benim görüşüme göre, itibar etkileri gerçek bir poster tarihinde oldukça erken gerçekleşir şüpheli olurdu (eğer doğruysa, bunlar yeniden düşünülebilir "bazı mükemmel cevaplar verdiniz, bu yüzden şimdi tüm "toplam puanla itibar" etkileri yerine "yayınlar". Fazla çizmeyi hesaba katarak bunun doğru olup olmadığını göstermek için nasıl bir grafik oluşturabilirim? Bunu göstermenin iyi bir yolunun, formun bir modeline uymak olabileceğini düşündüm;

burada bir (mevcut scatterplots olduğu gibi), olduğu ve örneğin sonrası numaraları keyfi bir dizi (temsil eden kukla değişkenler eşit sonrası sayı ise , eşit ise posta numarası vb.). ve sırasıyla büyük kesişme ve hata terimidir. Daha sonra, sadece bir poster geçmişinde itibar etkilerinin erken ortaya çıkıp çıkmadığını (veya grafiksel olarak görüntüleyerek) belirlemek için tahmini eğimlerini inceleyeceğim . Bu makul (ve uygun) bir yaklaşım mı?X 1 Z 1 ⋯ Z k Z 1 Z 2 β 0 ϵ $Y$score - (mean score per user)$X_1$post number$Z_1 \cdots Z_k$$Z_1$11 through 25$Z_2$126 through 50$\beta_0$$\epsilon$$\gamma$

Bazı tür parametrik olmayan düzleme çizgisinin bu gibi saçılma noktalarına (loess veya spline gibi) uyması popüler gibi görünüyor, ancak spline ile yaptığım deneyler aydınlatıcı bir şey ortaya koymadı (poster tarihinde erken postive etkisi kanıtları hafif ve tempartentaldi dahil ettiğim spline sayısına). Etkilerin erken gerçekleştiği yönünde bir hipotezim olduğundan, yukarıdaki modelleme yaklaşımım spline'dan daha makul mi?

Ayrıca, tüm bu verileri taradığım halde, incelemek için hala çok sayıda başka topluluk var (ve süper kullanıcı ve sunucu hatası gibi benzerlerinden büyük örnekler var), bu nedenle gelecekte önermek oldukça makul. herhangi bir ilişkiyi incelemek için bir tutma örneği kullandığım analiz.

Bu cesur bir denemedir, ancak yalnızca bu verilerle , "itibarın upvotes üzerindeki etkisi" ile ilgili araştırma sorunuzu cevaplamak zor veya imkansız olacaktır . Sorun, listelediğim diğer fenomenlerin etkilerini, nasıl ele alınabileceğine dair kısa göstergelerle ayırmaktır.

• Öğrenme etkileri . İtibar arttıkça deneyim artar; deneyim arttıkça, bir kişinin daha iyi sorular ve cevaplar göndermesini bekleriz; kalitesi arttıkça, posta başına daha fazla oy bekliyoruz. Muhtemelen, bir analizde bununla başa çıkmanın bir yolu, birden fazla SE sitesinde aktif olan kişileri tanımlamak olacaktır . Herhangi bir sitede itibarları, deneyimlerinin miktarından daha yavaş artacak ve böylece itibar ve öğrenme etkilerini birbirinden ayırmak için bir tutamaç sağlayacaktır.

• Bağlamda geçici değişiklikler. Bunlar sayısız, ancak bariz olanlar şunları içerir:

  • Genel bir artış eğilimi, mevsimsel eğilimler (genellikle akademik döngülerle ilişkilendirilir) ve aykırı değerler (belirli konulara bağlantılar gibi dış tanıtımdan kaynaklanan) dahil olmak üzere, zaman içinde seçmen sayısındaki değişiklikler . Herhangi bir analiz, herhangi bir birey için itibardaki eğilimleri değerlendirirken bunu hesaba katmalıdır .

  • Bir topluluğun zaman içindeki değişimleri . Topluluklar ve nasıl etkileştikleri, geliştikleri ve geliştikleri. Zaman içinde az ya da çok oy kullanma eğiliminde olabilirler. Herhangi bir analiz, bu etkiyi değerlendirmeli ve etkisiz hale getirmelidir .

  • Zamanın kendisi. Zaman geçtikçe, daha önceki yayınlar aranmaya devam eder ve oy toplamaya devam eder. Bu nedenle, caeteris paribus , eski yazılar yeni olanlardan daha fazla oy üretmelidir. (Bu güçlü bir etkidir: aylık itibar ligleri üzerinde sürekli olarak yüksek olan bazı insanlar tüm yıl boyunca bu siteyi ziyaret etmemiştir!) Bu, herhangi bir gerçek pozitif itibar etkisini maskeleyecek veya tersine çevirecektir. Herhangi bir analizin sitede her gönderinin mevcut olduğu süreyi hesaba katması gerekir .

• Konu popülerliği. Bazı etiketler (ör. R ) diğerlerinden çok daha popülerdir. Bu nedenle, bir kişinin cevapladığı soru türlerindeki değişiklikler, itibar etkisi gibi geçici değişikliklerle karıştırılabilir. Bu nedenle, herhangi bir analizin cevaplanan soruların doğasını hesaba katması gerekir.

• Görünümler [düzenleme olarak eklendi]. Sorular, çeşitli nedenlerle (filtreler, bağlantılar vb.) Farklı sayıda kişi tarafından incelenir. Yanıtlarla alınan oyların sayısının görüş sayısıyla ilgili olması mümkündür, ancak görüşlerin sayısı arttıkça bir oranın azalması beklenir. (Soruyla gerçekten ilgilenen kaç kişinin ham sayıyı değil, aslında onu görüntülemesi meselesidir. Benim - anekdot - deneyimim, birçok soruda aldığım upvotların kabaca yarısının ilk 5-15'e gelmesi Her ne kadar en sonunda sorular yüzlerce kez incelense de.) Bu nedenle, herhangi bir analizin görüntüleme sayısını hesaba katması gerekir, ancak muhtemelen doğrusal bir şekilde değil.

• Ölçüm zorlukları. "İtibar" farklı faaliyetler için alınan oyların toplamıdır: başlangıç ​​itibarı, cevaplar, sorular, soruları onaylama, etiket wiki'lerini düzenleme, küçülme ve indirilme (azalan değer sırasına göre). Bu bileşenler farklı şeyleri değerlendirdiğinden ve hepsi topluluk seçmenlerinin kontrolü altında olmadığından, analiz için ayrılmalıdır . Bir "itibar etkisi" muhtemelen cevaplar ve belki de sorular üzerinde upvotes ile ilişkilidir, ancak diğer itibar kaynaklarını etkilememelidir. Başlangıç ​​itibarı kesinlikle çıkarılmalıdır (ancak belki de bir miktar deneyim için vekil olarak kullanılabilir).

• Gizli faktörler. Ölçülmesi imkansız olan birçok başka karıştırıcı faktör olabilir. Örneğin, forumlara katılımda çeşitli "tükenmişlik" biçimleri vardır. İnsanlar ilk birkaç hafta, ay veya yılların coşkusundan sonra ne yaparlar? Bazı olasılıklar nadir, olağandışı veya zor sorulara odaklanmak; sadece cevaplanmamış sorulara cevap verilmesi; daha az ama daha kaliteli cevaplar vermek; Bunların bazıları bir itibar etkisini maskeleyebilirken, diğerleri yanlışlıkla biriyle karıştırılabilir. Bu faktörler için bir vekil, bireyin katılım oranlarındaki değişiklikler olabilir : o kişinin gönderilerinin doğasındaki değişiklikleri işaret edebilirler.

• Alt topluluk olgusu. İstatistiklere, çok aktif SE sayfalarında bile sert bir bakış, nispeten az sayıda insanın cevaplama ve oylamaların çoğunu yaptığını göstermektedir. İki veya üç kişi kadar küçük bir klik, itibarın büyümesi üzerinde derin bir etkiye sahip olabilir. İki kişilik bir klik, sitenin yerleşik monitörleri tarafından algılanacaktır (ve bu sitede böyle bir grup var), ancak daha büyük klikler muhtemelen olmayacaktır. (Resmi çarpışmadan bahsetmiyorum: insanlar farkında olmadan bile bu tür kliklerin üyesi olabilirler.) Görünen bir itibar etkisini bu görünmez, tespit edilmemiş, gayri resmi kliklerin faaliyetlerinden nasıl ayırabiliriz? Ayrıntılı oylama verileri teşhis amaçlı kullanılabilir, ancak bu verilere erişebileceğimize inanmıyorum.

• Sınırlı veri. Bir itibar etkisini tespit etmek için, muhtemelen onlarca ila yüzlerce gönderi (en azından) olan kişilere odaklanmanız gerekecektir. Bu, mevcut nüfusu 50'den az kişiye düşürüyor. Tüm varyasyon ve karışıklık olasılığı ile, gerçekten çok güçlü olmadıkça önemli etkileri ortaya çıkarmak için çok küçüktür. Tedavi, veri kümesini diğer SE sitelerinden gelen kayıtlarla artırmaktır .

Tüm bu komplikasyonlar göz önüne alındığında, blog makalesindeki keşif grafiklerinin göze batan belirgin olmadığı sürece herhangi bir şeyi ortaya çıkarma şansının az olduğu açık olmalıdır. Bize hiçbir şey sıçramıyor: beklendiği gibi veriler dağınık ve karmaşık. Arsalarda veya sunulan analizde iyileştirmeler önermek için zamanından önce: artımlı değişiklikler ve ek analizler, bu temel sorunlar giderilene kadar yardımcı olmaz .

$Y_t$$Z_t$$Y_t = a_0 + a_1 Y_{t-1} + a_2 Z_{t-1} + \epsilon_t$$Z_t = b_0 + b_1 Y_{t-1} + b_2 Z_{t-1} + \delta_t$$a_2$$Z$$Y$$Z$$Y$$t$$\Delta Y_t = Y_t - Y_{t-1}$$Y_t$$F$$\chi^2$$T^{-1}$$T^{-1/2}$$Y_t$$Z_t$$a_0$$a_1$$a_2$

1. nokta: elle sabit efektler yapıyorsanız, hem tepki değişkenini hem de açıklayıcı değişkenleri ortalamanız gerekirdi. Panel veri regresyon paketi bunu sizin için yapardı, ancak şeylere bakmanın resmi ekonometrik yolu "birleştirilmiş" regresyonu "toplanmış" regresyondan çıkarmaktır (bakınız Wooldridge'in kara kitabı ; ikinci baskıyı kontrol etmedim, ancak genellikle ilk baskıyı ekonometrik panel verilerinin en iyi ders kitabı türü açıklaması olarak görüyorum).

2. noktanızda: elbette Eicker / White standart hataları puan tahminlerinizi etkilemez; eğer yaparlarsa, bu yanlış bir uygulama anlamına gelir! Zaman serileri bağlamında, daha uygun bir tahminci Newey ve West'ten (1987) kaynaklanmaktadır . Dönüşümleri denemek yardımcı olabilir. Ben şahsen Box-Cox dönüşümünün büyük bir hayranıyım, ancak yaptığınız analiz bağlamında, bunu temiz bir şekilde yapmak zordur. İlk olarak, şekil parametresinin üstünde bir shift parametresine ihtiyacınız olacaktır ve shift parametrelerinin bu gibi modellerde tanımlanması çok zordur. İkincisi, muhtemelen farklı insanlar ve / veya farklı mesajlar için farklı kaydırma / şekil parametrelerine ve / veya ... (tüm cehennem gevşiyor) gerekir. Sayım verileri de bir seçenektir, ancak ortalama modelleme bağlamında bir Poisson regresyonu, günlük dönüşümü kadar iyidir, ancak hantal bir varyans = ortalama varsayımı da getirir.

PS Muhtemelen bunu "boyuna veri" ve "zaman serileri" ile etiketleyebilirsiniz.

Arsalarda yapılan diğer bazı değişiklikler:

1. Önceki sayına göre cevap skoru için kantil bantlar. (Grafik 1 ve 3)
2. Skeet'in diğerlerine karşı yoğunluk grafikleri, # no'lu tabaka ile sınıflandırılmıştır (Grafik 3)
3. Rakip yazı sayısı ile katmanlaşmayı düşünün
4. Zamana göre tabakalaşma (soru sorulduktan uzun süre sonra puan kazanmaya devam edilebilir)

Bunu modellemek daha zor olacak. Poisson regresyonunu düşünebilirsiniz. Açıkçası, iyi araziler geliştirmek, içgörüleri ve becerileri geliştirmek için çok daha iyi bir yöntemdir. Verileri daha iyi anladıktan sonra modellemeye başlayın.

Whoa orada. (Ve bunu iyi bir şekilde ifade ediyorum ;-)) Modellerle daha ileri gitmeden önce verilerle neler olup bittiğini ele almanız gerekiyor.

Bu grafiğin ortasında çok tuhaf bir eğri için bir açıklama görmüyorum: http://stats.blogoverflow.com/files/2011/07/Rep_Correlated_With_Upvotes.png

Böyle bir eğri görmek, bu noktalar hakkında çok garip bir şey olduğunu düşündürüyor - birbirlerinden bağımsız olmadıklarını ve bunun yerine aynı kaynağın gözlemlerini yansıttığını gösteriyor.

(Küçük not: "Korelasyon ..." grafiğini yazmak yanıltıcıdır.)