Чи вводить в оману "середній рейтинг" Amazon?

Якщо я правильно розумію, рейтинги книг за шкалою 1-5 - це бали Лікерта. Тобто, 3 для мене не обов'язково може бути 3 для когось іншого. Це порядковий масштаб ІМО. Насправді не слід мати середню порядкову шкалу, але, безумовно, можна приймати режим, медіану та процентилі.

Тож чи «нормально» дотримуватись правил, оскільки значна частина населення розуміє засоби, ніж наведені вище статистичні дані? Хоча науково-дослідне співтовариство рішуче заперечує за те, що він використовує середні показники за шкалою Лікерта, чи добре це робити з масами (практично) Чи брати середній показник у цьому випадку навіть вводити в оману?

Здається, малоймовірно, що така компанія, як Amazon, натрапила на основні статистичні дані, але якщо ні, то чого мені тут не вистачає? Чи можемо ми стверджувати, що порядковий шкала є зручним наближенням до порядкової для обгрунтування прийняття середнього? На яких підставах?

Переваги використання середнього для узагальнення центральної тенденції 5-бального рейтингу

Як згадував @gung, я думаю, що часто буває дуже вагомих причин вважати середнє значення п'ятибального пункту як індекс центральної тенденції. Я вже виклав ці причини тут .

Перефразовуючи:

1. середнє значення легко підрахувати
2. Середина інтуїтивно зрозуміла і добре зрозуміла
3. Середнє значення - це єдине число
4. Інші показники часто дають подібне рангове впорядкування об'єктів

Чому середина корисна для Амазонки

Подумайте про цілі Амазонки в повідомленні про середню. Вони, можливо, мають на меті

• забезпечити інтуїтивну та зрозумілу оцінку предмету
• забезпечити прийняття користувачем рейтингової системи
• переконайтесь, що люди розуміють, що означає рейтинг, щоб вони могли відповідним чином використовувати його для інформування про рішення щодо придбання

Amazon надає якусь округлу середню величину, підрахунок частоти для кожного варіанту рейтингу та розмір вибірки (тобто кількість оцінок). Цієї інформації, мабуть, достатньо, щоб більшість людей оцінили як загальні настрої щодо предмета, так і впевненість у такому рейтингу (тобто, 4,5 з 20 рейтингами є більш імовірними, ніж 4,5 з 2 рейтингами; предмет з 10 5 -зірковий рейтинг, а також одна зіркова оцінка без коментарів все ще може бути хорошою позицією).

Ви навіть можете бачити середину як демократичний варіант. Багато виборів вирішуються, виходячи з того, який кандидат отримує найвищу оцінку за двобальною шкалою. Аналогічно, якщо ви берете аргумент, що кожна людина, яка подає рецензію, отримує голос, то ви можете бачити середнє значення як форму, яка зважує голос кожної людини однаково.

Чи справді проблеми в масштабах використання є проблемою?

Існує широкий спектр рейтингових ухилів, відомих у психологічній літературі (огляд див. Saal et al 1980), такі як зміщення центральної тенденції, зміщення поблажливості, зміщення строгості. Також деякі рейтинги будуть більш довільними, а деякі - більш надійними. Деякі можуть навіть систематично брехати, даючи підроблені позитивні чи підроблені негативні відгуки. Це створить різні форми помилок при спробі обчислити справжню середню оцінку для елемента.

Однак, якби ви взяли випадкову вибірку населення, такі зміщення скасуються, і при достатньому розмірі вибірки рейтингів ви все одно отримаєте справжню середню оцінку.

Звичайно, ви не отримаєте випадкової вибірки на Amazon, і є ризик того, що конкретний набір рейтингів, які ви отримуєте за предмет, систематично упереджується бути більш м'яким або суворим тощо. Зважаючи на це, я думаю, що користувачі Amazon оцінять, що представлені користувачем рейтинги походять із недосконалої вибірки. Я також думаю, що цілком ймовірно, що при розумному розмірі вибірки, що у багатьох випадках більшість відмінностей у відповіді на зміну відповідей почнуть зникати.

Можливі аванси понад середні

Що стосується підвищення точності рейтингу, я не став би оскаржувати загальну концепцію середнього значення, але, швидше за все, думаю, що існують інші способи оцінки реального середнього рейтингу сукупності для предмета (тобто середній рейтинг, який буде отриманий були великим представницьким зразком, який просили оцінити предмет).

• Вагові рейтинги грунтуються на їх надійності
• Використовуйте байєсівську рейтингову систему, яка оцінює середній рейтинг як середньозважену суму середнього рейтингу для всіх позицій та середнього значення для конкретного предмета, і збільшуйте зважування для конкретного предмета у міру збільшення кількості рейтингів
• Налаштуйте інформацію рейтингу, грунтуючись на будь-якій загальній тенденції до рейтингу в різних предметах (наприклад, 5 від того, хто зазвичай дає 3, коштував би більше, ніж той, хто зазвичай дає 4).

Таким чином, якщо точність в рейтингу була основною метою Amazon, я думаю, що слід намагатися збільшити кількість рейтингів за позицію та прийняти деякі з перерахованих вище стратегій. Такі підходи можуть бути особливо актуальними при створенні рейтингу "найкращих". Однак для покірного рейтингу на сторінці цілком можливо, що вибіркове значення краще відповідає цілям простоти та прозорості.

Список літератури

• Saal, FE, Downey, RG & Lahey, MA (1980). Оцінка рейтингів: Оцінка психометричної якості рейтингових даних .. Психологічний вісник, 88, 413.

Щоб бути дещо технічним, ці рейтинги насправді не є шкалою Лікерта ; вони просто порядкові оцінки. Тепер, сказавши це, ваш погляд по суті правильний. Однак я часто думаю, що надто багато робиться в цьому питанні. Варто зазначити, що зазвичай розуміється, що середнє число порядкових пунктів може бути приблизно інтервальним, і, таким чином, коли є багато оцінок, середнє значення стає більш розумним поданням. Я вважаю цю відповідь @JeromyAnglim чудовою (насправді, питання та всі відповіді, які там знаходяться, варто прочитати). Більш теоретичне лікування дивіться тут. З іншого боку, мені подобається Amazon, але я не бачу причин чекати від них статистичної витонченості, особливо в плані базового дизайну сайтів - справа в зручності використання споживачами, а не на враження статистики професорів.

Усі мають добру думку з цього приводу. Я не думаю, що я можу додати дуже багато іншого. Однак я опублікую це :

На мій досвід, середнє значення рейтингової шкали часто найтісніше співвідноситься з рівнем реальних показників, які ми намагаємося пов'язати з рейтинговою шкалою. Ми знайшли багато лінійних зв’язків, і тому середнє значення є одним з кращих способів узагальнення даних. Якщо говорити, як зазначав Джеромі, більшість способів аналізу центральної тенденції рейтингової шкали даватиме аналогічні результати (рангові накази тощо) більшу частину часу.

Також, я підозрюю, що Amazon, мабуть, не все стосується наукової обгрунтованості так чи інакше. Зрештою, ціль Amazon - змусити людей більше купувати покупки на Amazon.com, і те, як відгуки допомагають досягти цього, напевно, не буде відрізнятися залежно від резюме з одним номером. Хороші продукти будуть винагороджені, справді погані продукти покарані, а нервові покупці матимуть можливість детальніше переглянути плюси та мінуси.

Рейтинги Amazon вводять в оману через компанії, які грають у цю систему. Коли клієнтам пропонують знижки та безкоштовні товари натомість за 5-зіркові огляди, "статистика" того, який номер рейтингу є чи означає, стає суперечливим.

Ви робите гарний момент. Прийняття середнього порядку порядкових чисел дещо вводить в оману. Будь-яке підсумок кількох рейтингів страждає від того, що мої суб'єктивні 3 можуть насправді дорівнювати вашим 4. Тож поєднання різних індивідуальних балів - це, мабуть, найбільша проблема. Інтерпретація середнього рівня 3 та 4 як 3,5 не є настільки яскравим.