NPS (Net Promoter Score) sonucundaki hata payını nasıl hesaplayabilirim?

Wikipedia'nın NPS'nin nasıl hesaplandığını açıklamasına izin vereceğim :

Net Promoter Score, müşterilere 0'dan 10'a kadar derecelendirme ölçeğinde tek bir soru sorularak elde edilir; 10, "aşırı derecede muhtemeldir" ve 0 "hiç de muhtemel değildir": arkadaş ya da meslektaş? Yanıtlarına göre, müşteriler üç gruba ayrılır: Promoterler (9–10 derece), Pasifler (7–8 derece) ve Detektörler (0-6 derece). Detektörlerin yüzdesi daha sonra bir Net Promoter puanı (NPS) elde etmek için Promotörlerin yüzdesinden çıkarılır. NPS -100 (herkes bir iticidir) kadar düşük veya +100 (herkes bir promotördür) kadar yüksek olabilir.

Bu araştırmayı periyodik olarak birkaç yıldır sürdürüyoruz. Her seferinde birkaç yüz cevap alıyoruz. Elde edilen puan zaman içerisinde 20-30 puan arasında değişmiştir. Varsa, hangi puan hareketlerinin anlamlı olduğunu bulmaya çalışıyorum.

Bu sadece çok zorsa, hesaplamanın temelini oluşturan hata payını da çözmeye çalışmakla ilgileniyorum. Her "kova" nın (promotör, pasif, detektör) hata payı nedir? Belki de, sonuçların ortalamalarına bakıp veriyi anket çalışması başına sadece bir sayıya düşürürsem hata payı nedir? Bu beni herhangi bir yere götürür mü?

Buradaki herhangi bir fikir yardımcı olur. "NPS kullanmayın" hariç. Bu karar benim değişme yeteneğimin dışında!

— Dan Dunn
kaynak

Yanıtlar:

Biz rasgele numune varsayalım olan nüfus, varsayalım oranlarını ihtiva promotörlerin, pasif ve ile kötüleyiciler . NPS model oluşturmak üzere etiketlenmiş (senin nüfusunun her üyesi için bir tane) biletlerini büyük sayıda büyük şapka dolum hayal proje sahipleri için, pasif için ve eleştirmenlere için, verilen oranlarda ve sonra çizim Bunlardan rastgele. $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ NPS örneği , çekilen biletlerin ortalama değeridir. Gerçek NPS şapkalı biletlerin hepsi ortalama değer olarak hesaplanır: öyle beklenen değer (veya beklenti şapka).

Gerçek NPS'nin iyi bir tahmincisi, örnek NPS'dir. Örnek NPS'nin de bir beklentisi var. Tüm olası NPS örneklerinin ortalaması olarak kabul edilebilir. Bu beklenti gerçek NPS'ye eşittir. Standart hata örnek NPS örnek NPS en tipik olarak bir rastgele seçilen ve başka arasında değişmektedir ne kadar bir ölçüsüdür. Neyse ki, SE'yi bulmak için olası tüm numuneleri hesaplamamız gerekmiyor: hattaki biletlerin standart sapmasını hesaplayarak ve ile bölerek daha kolay bulunabilir. . (Örnek popülasyonun kayda değer bir oranı olduğunda küçük bir düzeltme yapılabilir, ancak bu burada gerekli değildir.) $\sqrt{n}$

Örneğin, bir nüfusu ele promoterler, pasif ve hasımları. Gerçek NPS $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2 + 0 \times 1 / 3 + - 1 \times 1 / 6 = 1 / 3.

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

Varyans nedenle

\begin{aligned} Var(NPS) & = (1 - NPS)^{2} \times p_{1} + (0 - NPS)^{2} \times p_{0} + (- 1 - NPS)^{2} \times p_{- 1} \\ = (1 - 1 / 3)^{2} \times 1 / 2 + (0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = 5 / 9. \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

Standart sapma yaklaşık olarak eşit, bu kare köküdür $0.75.$

Diyelim bir örneklemde , bu nedenle etrafında bir NPS gözlemlemek beklenebilir standart hata ile% $324$ $1/3 = 33$ yaklaşık%. $0.75/\sqrt{324}=$ $4.1$

Aslında, şapkadaki biletlerin standart sapmasını bilmiyorsunuz, yani bunun yerine numaranızın standart sapmasını kullanarak bunu tahmin ediyorsunuz. Örneklem boyutunun kareköküne bölündüğünde, NPS'nin standart hatasını tahmin eder: bu tahmin, hata payıdır (MoE).

Her bir müşteri türünün önemli sayılarını gözlemlemeniz koşuluyla (tipik olarak her birinin yaklaşık 5 veya daha fazlası yapılacaktır), NPS numunesinin dağılımı Normal'e yakın olacaktır. Bu, MEB'yi her zamanki gibi yorumlayabileceğiniz anlamına gelir. Özel olarak, NPS numunesinin gerçek NPS'nin bir MoE'sinde yer alacağı zamanın yaklaşık 2 / 3'ü ve zamanın 19/20% 'sinde (% 95), NPS numunesi, gerçek NPS'nin iki MoE'sinde yer alacaktır. Örnekte, hata payı gerçekten% 4,1 olsaydı, anket sonucunun (örnek NPS) nüfusun NPS'sinin% 8,2'si içinde olduğuna dair% 95 güvene sahip olurduk.

Her anket kendi hata payına sahip olacaktır. Bu iki sonucu karşılaştırmak için her birinde hata olasılığını hesaba katmanız gerekir. Anket boyutları yaklaşık olarak aynı olduğunda, farklılıklarının standart hatası Pisagor teoremi tarafından bulunabilir: karelerinin toplamının karekökünü alın. Bir yıllık MEB% 4,1 ve bir yıl MEB% 3.5 ise Örneğin, o zaman kabaca etrafında hata payı anlamaya = bu iki sonuçtaki fark için% 5.4. Bu durumda,iki anket sonucundaki farkın% 10,8 veya daha büyük olması şartıyla NPSpopülasyonununbir anketten diğerine değiştiğine% 95 güvence verebilirsiniz. $\sqrt{3.5^2+4.1^2}$

Zaman içinde birçok anket sonucunu karşılaştırırken, daha karmaşık metotlar yardımcı olabilir, çünkü birçok ayrı hata marjıyla baş etmek zorundasınız. Hata marjlarının hepsi birbirine çok benzerse, kaba bir kural, üç veya daha fazla ÇD'nin değişimini "önemli" olarak kabul etmektir. Bu örnekte, ÇŞ'ler% 4 civarında kalıyorsa, birkaç anket süresince yaklaşık% 12 veya daha büyük bir değişiklik dikkatinizi çekmelidir ve küçük değişiklikler geçerli olarak anket hatası olarak görülebilir. Ne olursa olsun, burada verilen analiz ve kurallar, anketler arasındaki farklılıkların ne anlama gelebileceğini düşünürken genellikle iyi bir başlangıç sağlar.

$0$ $0$ $1/\sqrt{n}$ $n$

— whuber
kaynak

Bu harika bir cevaptı. Çok takdir ediyorum.

— Dan Dunn

"Hata marjı" genellikle bir numuneden elde edilen bir istatistik için% 95 güven aralığı olarak yorumlanmıyor mu? yani kabaca 1.96 bu istatistiğin örnekleme standart hatası (veya standart sapma). Hata payını "istatistiğin standart sapması" veya "standart hata" ile eşanlamlı olarak kullanırsınız.

— Peter Ellis

Teşekkürler @whuber. Açıkça tanımlandığı sürece (Humpty Dumpty prensibi) terminoloji hakkında asla tartışmaya çalışmıyorum ve bence bu konuyla ilgili tutarlı bir sözleşmeye imza attığını düşünüyorum. Elimdeki tek delil , hata payının genel olarak (evrensel değil) tahminin bir yüzdesi olarak alıntılandığını doğru bir şekilde belirten istatistik.stackexchange.com/questions/21139/… adresindeki kendi soruma bir cevap .

— Peter Ellis

@Charles, bence whuber ayrık rastgele bir değişkenin temel varyansını yapıyor. Bkz. Stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

— B_Miner

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

Sürekli değişkenler için varyans tahmincisini de kullanabilirsiniz. Aslında, rastgele kesikli değişken için varyans tahmincisi yerine tercih ederim, çünkü numune varyansını hesaplamak için iyi bilinen bir düzeltme var: https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation Diğerlerinin de belirttiği gibi, Whubers çözümü popülasyon formüllerine dayanır. Ancak, bir anket uyguladığınız için, bir örnek hazırladığınızdan eminim, bu yüzden yansız kestiriciyi kullanmanızı tavsiye ederim (karelerin toplamını n-1 ile bölerek, sadece n ile değil). Tabii ki, büyük örneklem büyüklükleri için, önyargılı ve yansız tahmin edici arasındaki fark neredeyse yoktur.

Z-score yaklaşımını kullanmak yerine orta örneklem büyüklüğünüz varsa, t-test prosedürünü kullanmanızı da tavsiye ederim: https://en.wikipedia.org/wiki/Student 's_t-test

@ whuber: başkaları da sorduğundan: kişi rasgele ayrık değişken yaklaşımınız için varyans / sd için yansız örnek tahmincisini nasıl hesaplar? Kendi başıma bulmaya çalıştım ama başarılı olamadım. Teşekkürler.

— deschen
kaynak

Hesaplamaları basitleştirmek için potansiyel olarak önyükleme özelliğini kullanabilirsiniz. R'de kod şöyle olacaktır:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

— k-zar
kaynak

Başlangıçta yaklaşımın ne olduğunu - R kodunuzu hiç anlamayan birinin hala söylemeye çalıştığınız şeyi izleyebilmesi için yeterince ayrıntılı bir şekilde - cevabınızı yeterince açıklayabilir misiniz? en sevdikleri dilde uygulayarak bıçaklamak?

— Glen_b -Reinstate Monica