Які саме цензурні дані?

Я читав різні описи цензурованих даних:

А) Як пояснено в цій темі, цензуруються не кількісні дані нижче або вище певного порогу. Некваліфіковані засоби означають, що вище або нижче певного порогу, але ми не знаємо точного значення. Потім дані маркуються за низьким або високим пороговим значенням у моделі регресії. Він відповідає опису в цій презентації , який я виявив дуже зрозумілим (другий слайд на першій сторінці). Іншими словами, $Y$ обмежується або мінімальним, максимальним значенням, або обом, оскільки ми не знаємо справжнього значення поза цим діапазоном.

B) Друг сказав мені, що ми можемо застосувати цензуровану модель даних до частково невідомих спостережень $Y$ , за умови, що у нас є хоч якась гранична інформація про невідомі результати $Y_i$ . Наприклад, ми хочемо оцінити остаточну ціну на безшумні та відкриті аукціони на основі деяких якісних критеріїв (тип товару, країна, багатство учасників торгів тощо). Хоча для відкритих аукціонів ми знаємо всі кінцеві ціни $Y_i$ , для безшумних аукціонів ми знаємо лише першу пропозицію (скажімо, 1000 доларів), але не остаточну ціну. Мені сказали, що в цьому випадку дані цензуруються зверху і слід застосовувати цензуровану регресійну модель.

C) Нарешті, є визначення, яке дається у Вікіпедії, де взагалі відсутня, але прогнози доступні. Я не впевнений, чим цей приклад відрізняється від усічених даних.$Y$

То які саме цензурні дані є?

Розглянемо наступні дані про результат та коваріат x :$y$$x$

user y       x   
1    10      2 
2   (-∞,5]   3 
3   [4,+∞)   5   
4   [8,9]    7
5     .      .

Для користувача 1 ми маємо повні дані. Для всіх інших ми маємо неповні дані. Користувачі 2, 3 та 4 піддаються цензурі: результат, відповідний відомим значенням коваріату, не спостерігається або не спостерігається точно (ліво-, право- та інтервально-цензурований). Іноді це артефакт міркувань щодо конфіденційності в дизайні опитування. В інший час це трапляється з інших причин. Наприклад, ми не спостерігаємо заробітну плату нижче мінімальної заробітної плати або фактичного попиту на концертні квитки, що перевищують місткість арени.

Користувач 5 усічений: і результат, і коваріат відсутні. Зазвичай це відбувається тому, що ми збираємо дані лише про людей, які щось робили. Наприклад, ми опитуємо лише людей, які щось купили ( ), тому ми виключаємо тих, хто має y = 0, а також їх x s. Ми можемо навіть не мати рядка для цього типу користувачів у вихідних даних, хоча ми знаємо, що вони існують, тому що ми знаємо правило, яке було використано для створення нашої вибірки. Інший приклад - випадкове скорочення: ми спостерігаємо лише заробітну плату для людей, які перебувають у складі робочої сили, оскільки ми припускаємо, що пропозиція заробітної плати - це заробітна плата, коли ви працюєте. Укорочення є випадковим, оскільки залежить не від $y>0$$y=0$$x$$y$, але за іншою змінною.

Коротше кажучи, усічення передбачає більші втрати інформації, ніж цензура (пункти A&B). Обидва ці типи «відсутність» є систематичними.

Робота з даним типом даних зазвичай передбачає чітке припущення щодо поширення помилки та змінення ймовірності врахування цього. Також можливі більш гнучкі напівпараметричні підходи. Це неявно у вашій точці B.

Описово кажучи, я пропоную "вибірку даних цензурувати, якщо деякі спостереження в ній беруть або складають крайні значення вибірки, але їх справжнє значення виходить за межі спостережуваного вибірки". Але це оманливо прямо.

Отже, спочатку обговоримо, як можна зробити висновок про цензуру набору даних, що, природно, призведе нас до обговорення випадків, представлених у питанні.

Припустимо, нам подано наступний набір даних з дискретної випадкової величини , для якої єдине, що ми знаємо, це те, що вона є негативною:$X$

Чи можна сказати, що набір даних цензурується? Ну, ми маємо право думати, що це може бути, але це не обов'язково так:

1) може мати діапазон { 0 , 1 , 2 } і розподіл ймовірностей $X$$\{0,1,2\}$ . Якщо це дійсно так, то, здається, тут немає цензури, а лише "передбачуваний" зразок з такої випадкової величини, з обмеженою підтримкою та сильно асиметричним розподілом. $\{0.1,0.1,0.8\}$

2) Але це може бути так , що має діапазон { 0 , 1 , . . . , 9 } з рівномірним розподілом ймовірностей { 0,1 , 0,1 , . . .0 .1 } , в цьому випадку наш зразок даних, швидше за все, піддається цензурі. $X$$\{0,1,...,9\}$$\{0.1,0.1,...0.1\}$

Як ми можемо сказати? Ми не можемо, за винятком випадків, коли ми володіємо попередніми знаннями чи інформацією , це дозволить нам сперечатися на користь тієї чи іншої справи. Чи представляють три випадки, представлені у запитанні, попередні знання щодо цензури? Подивимось:

Випадок A) описує ситуацію, коли для деяких спостережень ми маємо лише якісну інформацію, наприклад "дуже велику", "дуже маленьку" тощо, що приводить нас до присвоєння спостереження надзвичайного значення. Зауважте, що просто невідомість фактичної реалізованої величини не виправдовує присвоєння крайнього значення. Тож ми повинні мати певну інформацію, що для цих спостережень їх значення перевищує або нижче всіх спостережуваних. У цьому випадку фактичний діапазон випадкової величини невідомий, але наша якісна інформація дозволяє нам створити цензуровану вибірку (це ще одне обговорення того, чому ми не просто відкидаємо спостереження, для яких ми не володіємо фактично реалізованим значенням ).

Випадок В) - це не випадок цензури, якщо я правильно це розумію, а скоріше випадок забрудненої вибірки: наша апріорна інформація говорить нам, що максимальне значення випадкової величини не може перевищувати (через фізичний закон чи а соціальний закон - припустимо, це дані про класи від системи класифікації, яка використовує лише значення 1 , 2 , 3 ). Але ми спостерігали також значення 4 і значення 5 . Як це може бути? Помилка в записі даних. Але в такому випадку ми точно не знаємо, що 4 і 5 повинні бути усіма $3$$1,2,3$$4$$5$$4$$5$$3$(насправді, дивлячись на бічну клавіатуру комп’ютера, більш імовірно, що 's - це 1 ' s, а 5 '- 2 ' s!). "Виправляючи" будь-яким способом вибірку, ми не робимо її цензурованою, оскільки випадкова величина не повинна в першу чергу знаходитись у записаному діапазоні (тому немає істинних ймовірностей, присвоєних значенням 4 та 5 ). $4$$1$$5$$2$$4$$5$

Випадок С) стосується спільної вибірки, де ми маємо залежну змінну та предиктори. Тут ми можемо мати вибірку, де значення залежної змінної зосереджені в одній або обох крайнощах, завдяки структурі досліджуваного явища: У звичайному прикладі "відпрацьованих годин" не працюють безробітні, але вони мали б працював (добре подумайте: чи справді ця справа підпадає під описове "визначення" на початку цієї відповіді?). Тож включення їх у регресію із записаними годинами "нуль" створює зміщення. З іншого боку, максимальну кількість відпрацьованої години можна стверджувати, що можна досягти, скажімо, $16$/ день, і можуть бути співробітники, які бажають працювати стільки за дану зарплату. Але законодавча база цього не дозволяє, і ми не дотримуємося таких "відпрацьованих годин". Тут ми намагаємось оцінити " передбачувану функцію пропозиції робочої сили" - і саме стосовно цієї змінної вибірка характеризується як цензурована.
Але якби ми заявили, що те, що ми хочемо зробити, це оцінити "функцію пропозиції робочої сили з огляду на явище безробіття та законодавчу базу", вибірку не піддаватимуть цензурі, оскільки вона відображатиме ефект цих двох аспектів, чого ми хочемо це робити.

Отже, ми бачимо, що характеризувати зразок даних як цензурований
а) може виходити з різних ситуацій, і
b) потребує певної обережності -
лише той факт, що його можна переплутати із випадком усічення .

Для мене цензура означає, що ми спостерігаємо часткову інформацію про спостереження . Я маю на увазі під цим те, що замість того, щоб спостерігати Z i = z i, ми спостерігаємо Z i ∈ a i, де a i - це реалізація A i , що є деяким випадковим збільшеним простором вибірки. Можна уявити, що спочатку вибираємо розділ A i зразкового простору Z , потім генерується Z i , і повідомляємо про A i ∈ A i таким, що$Z_i$$Z_i = z_i$$Z_i \in a_i$$a_i$$A_i$$\mathcal A_i$$\mathcal Z$$Z_i$$A_i \in \mathcal A_i$$Z_i \in A_i$$I(Z_i \in A)$$A \in \mathcal A_i$$Z_i$$\mathcal A_i$$Z_i$

$[Z_i \mid Z_i \in a_i]$$Z_i$$Z_i = (X_i, Y_i)$$Y_i$$a_i = \{x\} \times \mathcal Y$$\mathcal Y$$Y$ and say $Z_i$ is missing if $a_i = \mathcal Z$. When one says "$Z_i$ is censored", if they are following my definition, what they usually mean is "$Z_i$ is censored, but is not missing".

It's important to distinguish censored versus truncated as well as missing data.

Censoring applies specifically to the issue of survival analysis and time-to-event outcomes wherein the event at hand is assumed to have occurred at some time past the point at which you stopped observing that individual. An example is men-who-have-sex-with-men (MSM) and the risk of incident HIV in a prospective study who move and cease contact with study coordinators.

Truncation applies to a continuous variable that evaluates to a specific point at which the actual value is known to be either greater than or less than that point. An example is the monitoring of subjects with HIV and the development of full blown AIDS, CD4 cell counts falling below 300 are evaluated to the lower-limit-of-detection 300.

Lastly, missing data are data that have actual values that are not observed in any sense. Censored data are not missing time-to-event data nor are they truncated.

1. Censored: This is a term used to indicate that the period of observation was cut off before the event of interest occurred. So ''censored data'' indicate that the period of a particular event as not or never occurred