Як я можу обчислити похибку в результаті NPS (Net Promoter Score)?

Я дозволю Вікіпедії пояснити, як обчислюється NPS :

Показник чистого промоутера отримується, задаючи клієнтам одне запитання за шкалою рейтингу від 0 до 10, де 10 "надзвичайно вірогідний", а 0 - "зовсім не вірогідний": "Наскільки ймовірно, ви б рекомендували нашу компанію друг чи колега? " На основі своїх відповідей клієнти класифікуються на одну з трьох груп: промоутери (рейтинг 9–10), пасиви (7–8 рейтинг) та детрактори (0–6 рейтинг). Відсоток детракторів віднімається від відсотка промоутерів для отримання чистого показника промоутера (NPS). NPS може бути як низький від -100 (всі є недоброзичливцями), так і високий до +100 (усі - промоутери).

Ми проводили це опитування періодично протягом кількох років. Ми отримуємо кілька сотень відповідей кожного разу. Отриманий бал протягом часу змінювався на 20-30 балів. Я намагаюся розібратися, які показники руху значущі, якщо такі є.

Якщо це просто виявляється занадто важким, я також зацікавлений у тому, щоб спробувати визначити похибку в основах розрахунку. Яка похибка кожного "відра" (промотор, пасив, детрактор)? Можливо, навіть, яка помилка, якщо я просто дивлюсь на середнє значення балів, зменшуючи дані лише до одного числа за цикл опитування? Мене це дістане кудись?

Будь-які ідеї тут корисні. За винятком "не використовувати NPS". Це рішення є поза моєю здатністю змінити!

— Ден Данн
джерело

Відповіді:

Припустимо, популяція, з якої ми вважаємо, що ви беруть вибірки випадковим чином, містить пропорції промоторів, пасивів та відшкодувачів, з . Щоб моделювати НПС, уявіть собі, як заповнити велику шапку величезною кількістю квитків (по одному на кожного члена вашого населення) з позначкою для промоутерів, для пасивів та для недоброзичливців у заданих пропорціях, а потім намалюйте з них навмання Зразок NPS середнє значення на квитки , які були намальовані. Істинний NPS обчислюється як середнє значення всіх квитків в капелюсі: це $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ очікуване значення (або очікування ) капелюха.

Хорошим оцінником справжнього NPS є зразок NPS. Зразок NPS також має очікування. Його можна вважати середнім серед усіх можливих вибіркових НПС. Це очікування дорівнює справжньому НПС. Стандартна помилка з зразка NPS є мірою того , наскільки вибірковий NPS ігровий зазвичай змінюється від однієї випадкової вибірки і іншого. На щастя, нам не потрібно обчислювати всі можливі вибірки, щоб знайти SE: це можна знайти простіше, обчисливши стандартне відхилення квитків у капелюсі та розділивши на . (Невелике коригування може бути здійснено, коли вибірка є значною часткою населення, але це, мабуть, не знадобиться тут.) $\sqrt{n}$

Наприклад, розглянемо сукупність промоторів, пасиви та 1/6 відшкодувачів. Справжня НПС є $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2 + 0 \times 1 / 3 + - 1 \times 1 / 6 = 1 / 3.

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

дисперсія тому

\begin{aligned} Var(NPS) & = (1 - NPS)^{2} \times p_{1} + (0 - NPS)^{2} \times p_{0} + (- 1 - NPS)^{2} \times p_{- 1} \\ = (1 - 1 / 3)^{2} \times 1 / 2 + (0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = 5 / 9. \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

Стандартне відхилення являє собою квадратний корінь з цього, приблизно дорівнює $0.75.$

У вибірці, скажімо, , ви б очікували, що спостерігатиметься показник NPS близько % зі стандартною помилкою приблизно %. $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

Насправді ви не знаєте стандартного відхилення квитків у капелюсі, тому ви оцінюєте це, використовуючи замість цього стандартне відхилення вашого зразка. При поділі на квадратний корінь на розмір вибірки він оцінює стандартну помилку NPS: ця оцінка є похибкою (МО).

Якщо ви спостерігаєте значну кількість кожного типу клієнтів (як правило, приблизно 5 або більше кожного з них), розподіл вибірки NPS буде близьким до нормального. Це означає, що ви можете тлумачити Міністерство оборони звичайними способами. Зокрема, приблизно 2/3 часу вибіркова НПС буде лежати в межах одного МО справжнього НПС, і приблизно в 19/20 часу (95%) вибірка НПС буде лежати в межах двох МО справжньої НПС. У прикладі, якби похибка дійсно становила 4,1%, ми мали би 95% впевненості, що результат опитування (зразок НПС) знаходиться в межах 8,2% від загальної кількості населення, що не відповідає.

Кожне опитування матиме власну похибку. Для порівняння двох таких результатів потрібно враховувати можливість помилки в кожному. Коли розміри опитування приблизно однакові, стандартну похибку їх різниці можна знайти за теоремою Піфагора: взяти квадратний корінь суми їх квадратів. Наприклад, якщо один рік Міністерство Міністерства становить 4,1%, а інший рік Міністерство фінансів - 3,5%, то приблизно розраховують похибки навколо = 5,4% для різниці в цих двох результатах. У цьому випадку можна з 95% впевненістю зробити висновок, що кількість НПС населення змінювалася від одного опитування до іншого, за умови, що різниця в двох результатах опитування становить 10,8% або більше. $\sqrt{3.5^2+4.1^2}$

Порівнюючи багато результатів опитування за часом, можуть допомогти більш досконалі методи, оскільки вам доведеться впоратися з багатьма окремими помилками. Коли похибки є досить схожими, грубим правилом є зміна трьох або більше міністерств оборони як "значну". У цьому прикладі, якщо Міністерство Міністерства коливається приблизно на 4%, то зміни, що становлять приблизно 12% або більше, протягом періоду декількох опитувань, повинні привернути вашу увагу, і менші зміни можуть бути справедливо відхилені як помилка опитування. Незважаючи на те, що наведені тут аналізи та правила роботи, як правило, дають хороший початок з роздумів про те, що можуть означати відмінності між опитуваннями.

Зауважте, що ви не можете обчислити похибку лише від спостережуваної НПС: це залежить від кількості спостережень кожного з трьох типів респондентів. Наприклад, якщо майже всі є "пасивними", опитування NPS буде близько з невеликим похибкою. Якщо популяція поляризована однаково між промоторами та недоброзичливцями, обстеження NPS все ще буде близько але матиме найбільшу можливу похибку (рівну у вибірці з людей). $0$ $0$ $1/\sqrt{n}$ $n$

— дзижчати
джерело

Це була фантастична відповідь. Я дуже ціную це.

— Dan Dunn

Чи не "похибка" зазвичай трактується як 95% довірчий інтервал для статистики, взятої з вибірки? тобто приблизно 1,96 стандартної помилки вибірки (або стандартного відхилення) цієї статистики. Ви використовуєте похибку як синонім "стандартне відхилення статистики" або "стандартну помилку".

— Пітер Елліс

Дякую @whuber. Я намагаюся ніколи не сперечатися про термінологію до тих пір, поки вона чітко визначена (принцип Humpty Dumpty), і я думаю, що кінь підкреслив послідовну конвенцію щодо цього. Єдине підтвердження, яке я маю, - це відповідь на моє власне запитання на сайті stats.stackexchange.com/questions/21139/… , де правильно зазначається, що похибка зазвичай (а не універсально) котирується як відсоток від оцінки.

— Пітер Елліс

@Charles, я думаю, що Whuber робить основну дисперсію дискретної випадкової величини. Дивіться stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

— B_Miner

Вираз для дисперсії можна спростити до .

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

— Стівен Мактейр

Ви також можете використовувати оцінювач дисперсії для безперервних змінних. Насправді я вважаю за краще оцінювач дисперсії для випадкової дискретної змінної, оскільки існує добре відома корекція для обчислення дисперсії вибірки: https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation Як зазначали інші, рішення Whubers ґрунтується на формулах населення. Однак, оскільки ви проводите опитування, я впевнений, що ви склали зразок, тому я рекомендую використовувати неупереджений оцінювач (ділимо суму квадратів на n-1, а не тільки n). Звичайно, для великих розмірів вибірки різниці між упередженим та неупередженим оцінювачем практично не існує.

Я також рекомендую використовувати процедуру t-тестування, якщо ви маєте середні розміри вибірки, а не використовувати підхід z-score: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: оскільки інші запитували це також: як би обчислити неупереджений оцінювач вибірки для дисперсії / sd для вашого випадкового дискретного змінного підходу? Я намагався знайти це самостійно, але не мав успіху. Спасибі.

— дешен
джерело

Ви можете потенційно використовувати bootstrap для спрощення своїх розрахунків. У R код буде таким:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

— к-зар
джерело

Чи можете ви розширити свою відповідь, пояснивши на початку, що таке підхід - достатньо детально, щоб той, хто взагалі не розуміє ваш R-код, все-таки міг слідувати тому, що ви намагаєтесь сказати, - і, сподіваємось, що вони могли б прийняти удар, виконуючи його улюбленою мовою?

— Glen_b -Встановити Моніку