Збій ходу в надійній середній оцінці

У мене є маса (приблизно 1000) оцінок, і всі вони повинні бути оцінками довготривалої еластичності. Трохи більше половини з них оцінюється за допомогою методу A, а решта - за допомогою методу B. Десь я прочитав щось на кшталт "Я думаю, що метод B оцінює щось зовсім інше, ніж метод А, оскільки оцінки набагато (на 50-60%) вищі ". Мої знання надійної статистики майже нічого, тому я лише обчислював вибіркові засоби та медіани обох вибірок ... і одразу побачив різницю. Спосіб A дуже концентрований, різниця між середньою та середньою величиною дуже мала, проте вибірка методу B дивовижно змінювалася.

Я дійшов висновку, що випали та помилки вимірювань перекосили вибірку методу B, тому я викинув приблизно 50 значень (приблизно 15%), які були дуже невідповідними теорії ... і раптом засоби обох зразків (включаючи їх ІС) були дуже схожими . Діаграми щільності також.

(У прагненні усунути люди, що залишилися, я переглянув діапазон вибірки А і видалив усі вибіркові точки в B, які потрапили за його межі.) Я хотів би, щоб ви сказали мені, де я можу дізнатись основи надійної оцінки засобів, які б дозвольте мені суворіше оцінити цю ситуацію. І мати деякі посилання. Мені не потрібно дуже глибокого розуміння різних методик, скоріше, прочитати всебічне опитування методології надійної оцінки.

Я перевіряв на значення середньої різниці після вилучення залишків, а значення р становило 0,0559 (т близько 1,9), для повних зразків t статистика становила близько 4,5. Але це насправді не сенс, засоби можуть дещо відрізнятися, але вони не повинні відрізнятися на 50-60%, як зазначено вище. І я не думаю, що вони так роблять.

Ви шукаєте теорію, чи щось практичне?

Якщо ви шукаєте книги, ось які мені здаються корисними:

• FR Ham Hampel, EM Ronchetti, PJRousseeuw, WA Stahel, Robust Statistics: Підхід на основі функцій впливу , John Wiley & Sons, 1986.

• PJ Huber, Робоча статистика , John Wiley & Sons, 1981.

• PJ Rousseeuw, AM Leroy, Міцна регресія та виявлення зовнішності , John Wiley & Sons, 1987.

• RG Staudte, SJ Sheather, Робоча оцінка та тестування , John Wiley & Sons, 1990.

Якщо ви шукаєте практичні методи, ось кілька надійних методів оцінки середнього значення ("оцінювачі місця розташування", я думаю, більш принциповий термін):

• Медіана проста, добре відома і досить потужна. Він володіє чудовою стійкістю до людей, що втратили лиць. "Ціна" надійності становить близько 25%.

• Середній показник на 5% - це ще один можливий метод. Тут ви викидаєте найвищі 5% та 5% найнижчі значення, а потім приймаєте середнє (середнє) значення результату. Це менш надійно для людей, що втрачають погіршення: доки не більше 5% ваших точок даних пошкоджено, це добре, але якщо більше 5% пошкоджено, воно раптом стає жахливим (воно не погіршиться витончено). "Ціна" стійкості менша, ніж середня, хоча я не знаю, що це саме.

• $\{(x_i+x_j)/2 : 1 \le i \le j \le n\}$$n(n+1)/2$$x_1,\dots,x_n$є спостереженнями. Це дуже хороша надійність: він може впоратися з пошкодженням близько 29% точок даних, не повністю розпадаючись. А "ціна" стійкості низька: близько 5%. Це правдоподібна альтернатива медіані.

• Інтерквартильне середнє значення - це ще один оцінювач, який іноді використовується. Він обчислює середнє значення першого та третього квартилів, і, таким чином, його легко обчислити. Він має дуже хорошу надійність: може переносити корупцію до 25% точок даних. Однак "ціна" надійності нетривіальна: близько 25%. Як результат, це здається середнім середнім.

• Запропоновано багато інших заходів, але зазначені вище здаються розумними.

Коротше кажучи, я б запропонував медіану або, можливо, оцінювач Ходжеса-Лемана.

PS О, я повинен пояснити, що я маю на увазі під "ціною" стійкості. Надійний оцінювач призначений для роботи пристойно, навіть якщо деякі з ваших точок даних були пошкоджені або іншим чином не належать. Але що робити, якщо ви використовуєте надійний оцінювач на наборі даних, який не має анітральних прав, ані корупції? В ідеалі, ми б хотіли, щоб надійний оцінювач був максимально ефективним у використанні даних, наскільки це можливо. Тут ми можемо виміряти ефективність за стандартною помилкою (інтуїтивно, типовою кількістю помилок в оцінці, виробленої оцінкою). Відомо, що якщо ваші спостереження походять від розподілу Гаусса (iid), і якщо ви знаєте, що вам не знадобиться надійність, то середнє значення є оптимальним: воно має найменшу можливу помилку оцінки. "Ціна" надійності, вище, на скільки збільшується стандартна помилка, якщо ми застосуємо певну надійну оцінку до цієї ситуації. Ціна надійності 25% для медіани означає, що розмір типової помилки оцінки з медіаною буде приблизно на 25% більший, ніж розмір типової помилки оцінки із середньою. Очевидно, що чим нижча "ціна", тим краще.

Якщо вам подобається щось коротке і легке для засвоєння, погляньте на наступний документ із психологічної літератури:

Erceg-Hurn, DM, & Mirosevich, VM (2008). Сучасні надійні статистичні методи: простий спосіб досягти максимальної точності та потужності ваших досліджень. Американський психолог , 63 (7), 591–601. doi: 10.1037 / 0003-066X.63.7.591

Вони в основному покладаються на книги Ранда Р Вілкокса (які, правда, теж не надто математичні):

Wilcox, RR (2001). Основи сучасних статистичних методів: істотне вдосконалення потужності та точності. Нью-Йорк; Берлін: Спрінгер.
Wilcox, RR (2003). Застосування сучасних статистичних методик. Амстердам; Бостон: Академічна преса.
Wilcox, RR (2005). Вступ до надійної оцінки та перевірки гіпотез. Академічна преса.

Одна з книг, яка досить добре поєднує теорію з практикою, - це надійні статистичні методи з R, зроблені Юречковою та Піцеком. Мені також подобається надійна статистика Maronna et al. Однак у них обох може бути більше математики, ніж ви б доглядали. Для більш застосованого підручника, орієнтованого на R, цей pdf-файл BelVenTutorial може допомогти.