Які відносні переваги даних Winsorizing vs Trimming?

Вінсоризація даних означає заміщення крайніх значень набору даних певним відсотковим значенням з кожного кінця, тоді як обрізка або обрізання передбачає видалення цих крайніх значень.

Я завжди бачу, як обидва методи обговорюються як життєздатний варіант зменшення ефекту випускників при обчисленні статистичних даних, таких як середнє або стандартне відхилення, але я не бачив, чому можна вибрати один за іншим.

Чи є якісь відносні переваги чи недоліки щодо використання Winsorizing або обрізки? Чи є певні ситуації, коли один спосіб був би кращим? Чи використовується це частіше на практиці чи вони в основному взаємозамінні?

У іншому, але пов’язаному з цим питанні про підстригання, на яке я щойно натрапив, одна відповідь мала наступне корисне розуміння того, чому можна використовувати перемогу або обрізку:

Якщо ви берете обрізаний розподіл, ви чітко заявляєте: Мене не цікавлять люди, що переживають / хвости розповсюдження. Якщо ви вважаєте, що "люди, що пережили", справді є непрацездатними (тобто не належать до розподілу, а є "іншого виду"), тоді робіть обрізку. Якщо ви думаєте, що вони належать до дистрибуції, але ви хочете мати менш перекошений розподіл, ви можете подумати про виграшізацію.

Мені цікаво, якщо є більш визначений підхід, але вищенаведена логіка звучить розумно.

Хороше запитання, з яким стикаються дуже часто у всіх галузях! В будь-якому випадку ви технічно їх видаляєте з набору даних.

Я знаю, що це звичайна практика, коли намагаються графічно знайти тенденцію використовувати форму усікання: використовувати весь набір даних для побудови графіків, але потім виключити крайні значення для інтерпретації.

Проблема "winorizing" полягає в тому, що додані вами частини заповнюються самостійно, тобто вони походять із самого набору даних і тому просто підтримують його. Існують симуляторні проблеми, якщо ви дивитесь на роботу з перехресною валідацією / класифікацією в машинному навчанні, вирішуючи, як використовувати набори даних для навчання та тестування.

Я ні в якому разі не натрапив на стандартизований підхід - це завжди конкретні дані. Ви можете спробувати дізнатися, який процентний показник ваші дані (люди, що випадають) викликають певний відсоток нестабільності / о. відхилення, і знайти баланс між зниженням цієї мінливості, але збереженням якомога більшої кількості даних.

Це хороше запитання, і з одним я стикався. У випадках, коли у вас є великий набір даних або більш точно змінюється набір даних, коли менша кількість даних змінюється в широкому масштабі (але, тим не менш, їх потрібно відображати), і більшість наборів даних знаходиться у вузькій смузі, таким чином, що якщо дані побудовані так, як є, деталі, де більшість даних лежать, втрачаються, а нормалізація або стандартизація не демонструє адекватної диференціації (принаймні візуально), або, замість цього, потрібні необроблені дані, а потім обрізання або переможеність екстремальні значення даних допомагають покращити візуалізацію даних.

$O(n \log n)$$O(n)$$(1,2,3,4,4)$$(2+2+3+4+4)/5$$(2+3+4)/3$$(2+3+4+4)/4$