“Yazık yükseliş” sorunumuz mu var?

Biliyorum, konu dışı gibi gelebilir ama beni duyun.

Yığın Taşması'nda ve burada yayınlara oy veriyoruz, bunların hepsi tablo halinde saklanıyor.

Örneğin:

gönderen kimliği seçmen kimliği oy türü
------- -------- --------- --------
10 1 2 2000-1-1 10:00:01 
11 3 3 2000-1-1 10:00:01 
10 5 2 2000-1-1 10:00:01

... ve bunun gibi. Oylama tipi 2 bir oy, oylama tipi 3 ise bir oy. Bu verinin anonim bir sürümünü http://data.stackexchange.com adresinde sorgulayabilirsiniz.

Bir gönderinin -1 veya daha düşük puanlara ulaşması durumunda, puan kazanmanın daha muhtemel olduğu algısı vardır. Bu basitçe onaylama yanlılığı olabilir veya aslında köklü olabilir.

Bu hipotezi onaylamak veya reddetmek için bu verileri nasıl analiz ederdik? Bu önyargının etkisini nasıl ölçebiliriz?

— Sam Saffron
kaynak

sorgudan bir örnek alabilir miyiz? Herkes SQL cümleleri yazmak konusunda iyi bir bilgili değildir. Örnek verilere sahip olmak, insanları onunla oynamaya teşvik edebilir. Soru için +1.

— mpiktas

@Jeff oyları yalnızca veri dökümünden kısmi bilgi alabilmenizi anonimleştirir, burada hızlı bir örnek olmakla birlikte tüm geçişleri içerir ancak data.stackexchange.com/stackoverflow/q/101738 tam anonimleştirilmiş veriler genel veri dökümünde bulunur

— Sam Safran

Neden sadece artıyor? Her bir değerin etrafında yukarı veya aşağı oy kullanma olasılığı ne kadar kesin olabilir?

— Bob Durrant

@Bob, kesinlikle katılıyorum katılıyorum

— Sam Saffron

Farklı türden tartışmaların, merhametli oyların ve diğer “sosyal” biçimlerin önüne geçmek için, başka tür sitelerin oyları şaşırtdığını (yani, göstermeden önce gürültü ekleyerek) ve bazen kısa bir süre için tamamen yukarı ve aşağı oy kullandığını gördüm. oylama unsurları.

— Glen_b

Yanıtlar:

Çok aşamalı bir model veya Markov zinciri kullanabilirsiniz (R'deki msm paketi bunlara uymanın bir yoludur). Daha sonra -1'den 0'a geçiş olasılığının 0'dan 1'e, 1'den 2'ye vb. Büyük olup olmadığını görmek için bakabilirsiniz. Ortalama olup olmadığını görmek için diğerlerine kıyasla ortalamada -1'e bakabilirsiniz. .

— Greg Snow
kaynak

+1 harika referans. Msm paketi hakkında İstatistiksel Yazılım Dergisi'nde bir makale var . Model, bu tür görevler için ideal olarak uygun görünüyor.

— mpiktas

Markov zincir modeli fikri iyi bir fikir gibi gözüküyor, fakat -1’deki ortalama süre tüm hikayeyi vermiyor. Olası (ve makul - kötü sorular düşünün) birinin -1'de başka bir yerden daha fazla oy kullanma olasılığı daha düşük.

— Bob Durrant

Sanırım ilk önce yapmak isteyebilecek olan, oy-yörüngelerini kümelemek - yani (neredeyse) yalnızca yukarı / aşağı oylananlar (çok popüler / çok kötü sorular) ve daha çekişmeli olanlar. Ardından üç sınıfta Markov zincirlerini yapabilirsiniz.

— Jonas

Bir deney yapmak. Her gün belirli bir zamanda yeni yayınların yarısını rastgele düşürün.

— charles.y.zheng
kaynak

Serin, biz bu durumda, yüksek temsilcisi kullanıcılarla başlatmak için "eleştirmen" rozetleri önemli bir artış ve daha iyi :-) yeni kullanıcılar için motivasyon muhtemelen bir azalma gözlemlemek gerekir (denemeyi ağırlık verme riski taşıyan!)

— chl

Aslında bundan daha iyisini yapabiliriz ... AB testini kullanarak, sitede oylanan -1 oylama sorusunun yarısını 0 ve yarısını -1 olarak gösterebilir ve gruplardan birinin olasılıklı olup olmadığını görebiliriz. upvoted! Dahice.

— Sam Saffron

Deneme fikri, direklerin kalitesini kontrol eder, ancak (1) düşürülenler deneye katılmak için önceden karar vermelidir ve (2) kısa bir süre sonra, düşürmeler kaldırılmalıdır.

— zbicyclist

+1 (ve buradaki tüm yorumlara +1): onayları ile etkilenebilecek ve yürütülebilecek tüm kullanıcılara önceden iletilen kontrollü bir geri dönüşümlü deneme, bu bilgiyi edinmenin en güçlü yollarından biridir.

— whuber

Cevabımın özeti. Markov zincir modellemeyi severim ama "geçici" yönü özlüyor. Diğer yandan zamansal yöne odaklanmak (örneğin ortalama süreSadece geçiş olasılığını tahmin ettiğiniz ve belirli bir durumda harcanan zamanı ölçtüğünüz durumdan bir ara. Umarım bu yardım. $-1$

$(VD_i)_{i\geq 1}$ $(S_{i})_{i\geq 1}$

Y_{t} = Y_{t}^{+} - Y_{t}^{-}

$Y_{t}=Y^+_t-Y^-_t$

Y_{t}^{+} = \sum_{i = 0}^{\infty} 1_{V D_{i} \leq t, S_{i} = 1} and Y_{t}^{-} = \sum_{i = 0}^{\infty} 1_{V D_{i} \leq t, S_{i} = - 1}

$Y^+_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=1} \;\text{ and } \;Y^-_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=-1}$

$\epsilon$

λ_{t}^{ϵ} = lim_{d t \to 0} \frac{1}{d t} P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | F_{t})

$\lambda^{\epsilon}_t=\lim_{dt\rightarrow 0} \frac{1}{dt} P(Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1|\mathcal{F}_t)$

ϵ

$\epsilon$

-

$-$

+

$+$

F_{t}

$\mathcal{F}_t$

F_{t} = σ (Y_{t}^{+}, Y_{t}^{-}, V D_{1}, \dots, V D_{Y_{t}^{+} + Y_{t}^{-}}, S_{1}, \dots, S_{Y_{t}^{+} + Y_{t}^{-}})

$\mathcal{F}_t=\sigma \left (Y^+_t,Y^-_t,VD_1,\dots,VD_{Y^+_t+Y^-_t},S_{1},\dots,S_{Y^+_t+Y^-_t} \right )$

ancak sorunuzun satırları boyunca, bence Bu, için deterministik bir dizinin olduğu anlamına gelir öyle ki .

P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | F_{t}) = P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | Y_{t})

$P \left ( Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1 | \mathcal{F}_t \right )= P \left (Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1| Y_t \right )$

ϵ = +, -

$\epsilon=+,-$

(μ_{i}^{ϵ})_{i \in Z}

$(\mu^{\epsilon}_i)_{i\in \mathbb{Z}}$

λ_{t}^{ϵ} = μ_{Y_{t}}^{ϵ}

$\lambda^{\epsilon}_t=\mu^{\epsilon}_{Y_t}$

Bu formalizmin içinde, sorunuzu şu şekilde yeniden sorgulayabilirsiniz: "muhtemelen " olabilir (veya en azından verilen eşik). $\mu^{+}_{-1} -\mu^{+}_{0}>0$

Bu varsayım altında, üzerinde [ ] ile [homojen bir markov işlemi] [3] olduğunu, tarafından verilen jeneratör ile göstermek kolaydır. $Y_t$ $\mathbb{Z}$ $Q$

\forall i, j \in Z Q_{i, i + 1} = μ_{i}^{+} Q_{i, i - 1} = μ_{i}^{-} Q_{i i} = 1 - (μ_{i}^{+} + μ_{i}^{-}) Q_{i j} = 0 if | i - j | > 1

$\forall i,j \in \mathbb{Z}\;\;\; Q_{i,i+1}=\mu^{+}_{i}\;\; Q_{i,i-1}=\mu^{-}_{i}\;\; Q_{ii}=1-(\mu^{+}_{i}+\mu^{-}_{i}) \;\; Q_{ij}=0 \text{ if } |i-j|>1$

Soruyu cevaplamak (istatistiksel problem için azami olasılık tahminini önermek yoluyla) Bu reformdan, problemin çözülmesi tahmin edilerek ve değerleri test edilerek yapılır. Genellik kaybı olmadan indeksini düzeltip unutalım . Tahmini (ve ) gözlemlenmesi uppon yapılabilir $(\mu^{+}_i)$ $i$ $\mu^+$ $\mu^-$

$(T^{1},\eta^1),\dots,(T^{p},\eta^p)$ uzunlukları olan ve olarak geçirilen süre (yani birbirini izleyen zaman ve) olduğunu soru upvoted ise, bu downvoted ve eğer bu gözlem son durum ise. $T^j$ $j^{th}$ $p$ $i$ $Y_t=i$ $\eta^j$ $+1$ $-1$ $0$

Eğer gözlem son durumuyla davayı unutursanız, Mentionned çiftler bağlı olan bir dağıtımdan iid ve o kadar dağıtılır: Exp bir üstel dağılımı ve rastgele var olan ( olup + veya 1) maksimum fark eden bağlı olarak değişebilir. Ardından, aşağıdaki basit lemayı kullanabilirsiniz (kanıtı basittir): $\mu_i^+$ $\mu_i^-$ $(\min(Exp(\mu_i^+),Exp(\mu_i^-)),\eta)$ $\eta$

Lemma Eğer ve , ve . $X_+\leadsto Exp(\mu_+)$ $X_{-} \leadsto Exp(\mu_{-})$ $T=\min(X_+,X_-)\leadsto Exp(\mu_++\mu_-)$ $P(X_+1<X_-)=\frac{\mu_+}{\mu_++\mu_-}$

Bu , nın yoğunluğunun şu şekilde verildiği anlamına gelir : burada için bir üstel rasgele değişkenin yoğunluk işlevidir parametresiyle . Bu ifadeden, ve maksimum olasılık tahmincisini türetmek kolaydır : $f(t,\epsilon)$ $(T,\eta)$

f (t, ϵ) = g_{μ_{+} + μ_{-}} (\frac{1 (ϵ = + 1) * μ_{+} + 1 (ϵ = - 1) * μ_{-}}{μ_{+} + μ_{-}})

$f(t,\epsilon)=g_{\mu_++\mu_-}\left ( \frac{1(\epsilon=+1)*\mu_++1(\epsilon=-1)*\mu_-}{\mu_++\mu_-}\right )$

g_{a}

$g_a$

a > 0

$a>0$

a

$a$

μ_{+}

$\mu_+$

μ_{-}

$\mu_-$

({\hat{μ}}_{+}, {\hat{μ}}_{-}) = a r g m i n \ln (μ_{-} + μ_{+}) ((μ_{-} + μ_{+}) \sum_{i = 1}^{p} T^{i} + p) - p_{-} \ln (μ_{-}) - p_{+} \ln (μ_{+})

$(\hat{\mu}_+,\hat{\mu}_-)=argmin \ln (\mu_-+\mu_+)\left ( (\mu_-+\mu_+)\sum_{i=1}^p T^i+p\right )- p_-\ln\left (\mu_-\right ) -p_+ \ln \left (\mu_+\right )$ buradave.

p_{-} = | i : δ_{i} = - 1 |

$p_-=|{i:\delta_i=-1}|$

p_{+} = | i : δ_{i} = + 1 |

$p_+=|{i:\delta_i=+1}|$

Daha gelişmiş yaklaşımlar için yorumlar

Ne zaman acount durumlarda içine almak istiyorsanız son gözlenen durumdur (kesinlikle zeki birisi içinde gidince çünkü biraz Biti reasonning değiştirmek zorunda, bu son puan ... genellikle). Karşılık gelen sansür nispeten klasik ... $i$ $-1$

Muhtemel başka bir yaklaşım da olabilir

Zamanla azalan bir yoğunluğa sahip olmak
Son oylamadan bu yana harcanan zamanla azalan bir yoğunluğa sahip olmak (bunu tercih ederim. Bu durumda, yoğunluğun nasıl azaldığını modellemenin klasik bir yolu vardır ...
Sen varsaymak isteyebilirsiniz sorunsuz fonksiyonudur $\mu_i^+$ $i$
.... başka fikirler önerebilirsin!

— Robin Girard
kaynak