Як слід перетворювати негативні дані, включаючи нулі?

Якщо у мене є дуже перекошені позитивні дані, я часто беру журнали. Але що мені робити із сильно перекривленими негативними даними, що включають нулі? Я бачив дві трансформації:

• який має чітку функцію, яка 0 відображає до 0.$\log(x+1)$
• де c оцінюється або встановлюється як дуже невелике додатне значення.$\log(x+c)$

Чи є інші підходи? Чи є якісь вагомі причини віддати перевагу одному підходу перед іншими?

Мені здається, що найбільш відповідний вибір трансформації залежить від моделі та контексту.

Точка "0" може виникати з декількох різних причин, кожну з яких, можливо, доведеться по-різному трактувати:

• Обрізання (як у прикладі Робіна): Використовуйте відповідні моделі (наприклад, суміші, моделі виживання тощо)
• Відсутні дані: Внести дані / залишити спостереження, якщо це доречно.
• Природний нульовий бал (наприклад, рівень доходу; безробітний має нульовий дохід): Перетворюйте за потребою
• Чутливість вимірювального приладу: Можливо, додайте невелику кількість до даних?

Я не дуже пропоную відповідь, тому що я підозрюю, що немає універсальної "правильної" трансформації, коли у вас є нулі.

Ніхто не згадував обернену гіперболічну синусову трансформацію. Тому для повноти я додаю його сюди.

Це є альтернативою перетворень Боксу-Кокса і визначається де θ > 0 . При будь-якому значенні θ нульове відображення до нуля. Існує також версія з двома параметрами, що дозволяє здійснювати зсув так само, як і двопараметричне перетворення BC.

Перетворення IHS працює з даними, визначеними на всій реальній лінії, включаючи негативні значення та нулі. Для великих значень він поводиться як перетворення журналу, незалежно від значення θ (крім 0). Обмежуючий випадок, як θ → 0, дає f ( y , θ ) → y .$y$$\theta$$\theta\rightarrow0$$f(y,\theta)\rightarrow y$

Мені здається, що трансформація IHS повинна бути набагато краще відомою, ніж вона є.

Корисний підхід, коли змінна використовується як незалежний фактор регресії, - це замінити її двома змінними: одна - це двійковий показник того, чи є вона нульовою, а інша - значення вихідної змінної або її повторне вираження, наприклад, його логарифм. Цей прийом обговорюється в книзі Hosmer & Lemeshow про логістичну регресію (і в інших місцях я впевнений). Урізані графіки ймовірності позитивної частини вихідної змінної корисні для визначення відповідного повторного вираження. (Див. Аналіз на https://stats.stackexchange.com/a/30749/919 для прикладів.)

Коли змінна є залежною в лінійній моделі, цензурована регресія (подібно до Тобіта ) може бути корисною, знову ж таки усуваючи необхідність створення розпочатого логарифму. Ця методика поширена серед економетриків.

Перетворення журналу зі зрушеннями - це особливі випадки перетворень Box-Cox :

$y(\lambda_{1}, \lambda_{2}) = \begin{cases} \frac {(y+\lambda_{2})^{\lambda_1} - 1} {\lambda_{1}} & \mbox{when } \lambda_{1} \neq 0 \\ \log (y + \lambda_{2}) & \mbox{when } \lambda_{1} = 0 \end{cases}$

Це розширена форма для негативних значень, але також застосовна до даних, що містять нулі. Box and Cox (1964) представляє алгоритм пошуку відповідних значень для , використовуючи максимальну ймовірність. Це дає вам остаточну трансформацію. $\lambda$

Причина віддавати перевагу перетворенням Box-Cox полягає в тому, що вони розроблені для забезпечення припущень для лінійної моделі. Проведено певну роботу, щоб показати, що навіть якщо ваші дані не можуть бути перетворені на нормальність, оцінене значення все одно призводить до симетричного розподілу.$\lambda$

Я не впевнений, наскільки добре це стосується ваших даних, оскільки це може бути той який є лише перетворенням журналу, про який ви згадали, але, можливо, варто оцінити запитуваний λ , щоб побачити, чи є інша трансформація відповідний.$\lambda = (0, 1)$$\lambda$

У R boxcox.fitфункція в пакеті geoRобчислить параметри для вас.

Я припускаю, що нуль! = Відсутні дані, оскільки це зовсім інше питання.

Думаючи про те, як обробити нулі при множинній лінійній регресії, я схильний вважати, скільки нулів у нас насправді?

Всього пара нулів

Якщо у мене досить великий набір даних у досить великому наборі даних, я схильний:

1. Вийміть крапку, візьміть колоди і підійдіть модель
2. $c$

$c$

Ви можете зробити цю процедуру трохи менш грубою і скористатися методом boxcox зі зрушеннями, описаними у відповіді ars.

Велика кількість нулів

Якщо мій набір даних містить велику кількість нулів, то це говорить про те, що проста лінійна регресія - не найкращий інструмент для роботи. Натомість я б використав щось на зразок моделювання суміші (як запропонували Срікант та Робін).

Якщо ви хочете чогось швидкого і брудного, чому б не скористатися квадратним коренем?

Я припускаю, що у вас є постійні дані.

Якщо дані включають нулі, це означає, що у вас є нульовий сплеск, який може бути пов'язаний з певним аспектом ваших даних. Це з'являється, наприклад, у вітровій енергії, вітер нижче 2 м / с виробляє нульову потужність (це називається відключений), а вітер (щось навколо) 25 м / с також виробляє нульову потужність (з міркувань безпеки це називається відключеним) . Хоча розподіл виробленої енергії вітру здається безперервним, є сплеск у нуль.

Моє рішення: У цьому випадку я пропоную обробити нулі окремо, працюючи із сумішшю шипа в нуль та моделлю, яку ви планували використовувати для тієї частини розподілу, яка є безперервною (wrt Lebesgue).

Порівнюючи відповідь, надану @RobHyndman, перетворення log-plus-one, яке поширюється на негативні значення, з формою:

r = -1000:1000

l = sign(r)*log1p(abs(r))
l = l/max(l)
plot(r, l, type = "l", xlab = "Original", ylab = "Transformed", col = adjustcolor("red", alpha = 0.5), lwd = 3)

#We scale both to fit (-1,1)
for(i in exp(seq(-10, 100, 10))){
  s = asinh(i*r)

  s = s / max(s)
  lines(r, s, col = adjustcolor("blue", alpha = 0.2), lwd = 3)
}
legend("topleft", c("asinh(x)", "sign(x) log(abs(x)+1)"), col = c("blue", "red"), lty = 1)

$\theta$$\theta \approx 1$$\theta \rightarrow 0$

$\theta$$x=0$

Оскільки запропоновано Box-Cox для двох параметрів, ось R, щоб встановити вхідні дані, запустити на ньому довільну функцію (наприклад, прогнозування часових рядів), а потім повернути інвертований вихід:

# Two-parameter Box-Cox function
boxcox.f <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return(((x + lambda2) ^ lambda1 - 1) / lambda1)
  } else {
    return(log(x + lambda2))
  }
}

# Two-parameter inverse Box-Cox function
boxcox.inv <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return((lambda1 * x + 1) ^ (1 / lambda1) - lambda2)
  } else {
    return(exp(x) - lambda2)
  }
}

# Function to Box-Cox transform x, apply function g, 
# and return inverted Box-Cox output y
boxcox.fit.apply <- function(x, g) {
  require(geoR)
  require(plyr)

  # Fit lambdas
  t <- try(lambda.pair <- boxcoxfit(x, lambda2=T)$lambda)

  # Estimating both lambdas sometimes fails; if so, estimate lambda1 only
  if (inherits(t, "try-error")) {
    lambda1 <- boxcoxfit(x)$lambda
    lambda2 <- 0
  } else {
    lambda1 <- lambda.pair[1]
    lambda2 <- lambda.pair[2]
  }
  x.boxcox <- boxcox.f(x, lambda1, lambda2)

  # Apply function g to x.boxcox. This should return data similar to x (e.g. ts)
  y <- aaply(x.boxcox, 1, g)

  return(boxcox.inv(y, lambda1, lambda2))
}

Припустимо, Y - це сума грошей, яку кожен американець витрачає на новий автомобіль за даний рік (загальна ціна придбання). Y буде шипом при 0; взагалі не матиме значень між 0 і приблизно 12 000; і прийматимуть інші цінності переважно в підлітковому, двадцятому та тридцятому тисячах. Прогнози були б довірениками щодо рівня потреби та / або зацікавленості в здійсненні такої покупки. Навряд чи потреба чи відсотки навряд чи можуть бути нульовими для осіб, які не здійснювали покупки; на цих масштабах некупці будуть набагато ближче до покупців, ніж Y або навіть журнал Y міг би запропонувати. У такому випадку, але в галузі охорони здоров’я, я виявив, що найточніші прогнози, судячи з перекваліфікації тестових наборів / тренувань, отримані шляхом збільшення порядку,

1. Логістична регресія на бінарній версії Y,
2. OLS на Y,
3. Звичайна регресія (PLUM) на Y, поділену на 5 категорій (щоб розділити покупців на 4 групи однакового розміру),
4. Багаточленна логістична регресія на Y, поділену на 5 категорій,
5. OLS в журналі (10) Y (я не думав пробувати корінь куба), і
6. OLS на Y поділено на 5 категорій.

Деякі відмовляться при цій категоризації безперервної залежної змінної. Але хоча вона жертвує деякою інформацією, категоризація, здається, допомагає відновленням важливого основного аспекту ситуації - знову ж таки, що «нулі» набагато більше схожі на решту, ніж Y вказувало б.

Розглянута тут трансформація потужності Йо-Джонсона має чудові властивості, призначені для обробки нулів і негативів, будуючи при цьому сильні перетворення потужності Box Cox. Це те, до чого я зазвичай займаюся, коли маю справу з нулями або негативними даними.

Ось підсумок перетворень із плюсами / мінусами, щоб проілюструвати, чому Йе-Джонсон є кращим.

Журнал

Плюси: добре справляється з позитивними даними.

Мінуси: не обробляє нулі.

> log(0)
[1] -Inf

Журнал плюс 1

Плюси: Зсув плюс 1 додає можливість обробляти нулі на додаток до позитивних даних.

Мінуси: помилки з негативними даними

> log1p(-1)
[1] -Inf
> log1p(-2)
[1] NaN
Warning message:
In log1p(-2) : NaNs produced

Квадратний корінь

Плюси: використовується силова трансформація, яка може обробляти нулі та позитивні дані.

Мінуси: помилки з негативними даними

> sqrt(-1)
[1] NaN
Warning message:
In sqrt(-1) : NaNs produced

Кокс Кокс

R код:

box_cox <- function(x, lambda) {

    eps <- 0.00001
    if (abs(lambda) < eps)
        log(x)
    else
        (x ^ lambda - 1) / lambda

}

Плюси: вмикає масштабовані силові перетворення

Мінуси: страждає від проблем із нулями та негативами (тобто може обробляти лише позитивні дані.

> box_cox(0, lambda = 0)
[1] -Inf
> box_cox(0, lambda = -0.5)
[1] -Inf
> box_cox(-1, lambda = 0.5)
[1] NaN

Єо Джонсон

R код:

yeo_johnson <- function(x, lambda) {

    eps <- .000001
    not_neg <- which(x >= 0)
    is_neg  <- which(x < 0)

    not_neg_trans <- function(x, lambda) {
        if (abs(lambda) < eps) log(x + 1)
        else ((x + 1) ^ lambda - 1) / lambda
    }

    neg_trans <- function(x, lambda) {
        if (abs(lambda - 2) < eps) - log(-x + 1)
        else - ((-x + 1) ^ (2 - lambda) - 1) / (2 - lambda)
    }

    x[not_neg] <- not_neg_trans(x[not_neg], lambda)

    x[is_neg] <- neg_trans(x[is_neg], lambda)

    return(x)

}

Плюси: може обробляти позитивні, нульові та негативні дані.

Мінуси: жодного, що я можу придумати. Властивості дуже схожі на Box-Cox, але можуть обробляти нульові та негативні дані.

> yeo_johnson(0, lambda = 0)
[1] 0
> yeo_johnson(0, lambda = -0.5)
[1] 0
> yeo_johnson(-1, lambda = 0.5)
[1] -1.218951

Щоб уточнити, як поводитися з журналом нуля в регресійних моделях, ми написали педагогічний документ, що пояснює найкраще рішення та поширені помилки, які люди роблять на практиці. Ми також вийшли з новим рішенням для вирішення цього питання.

Ви можете знайти папір, натиснувши тут: https://ssrn.com/ab абстракт=3444996

$\log(y) = \beta \log(x) + \varepsilon$$\beta$$y$$x$

$Y$$Y + c > 0$

У нашій статті ми фактично наводимо приклад, коли додавання дуже малих констант насправді забезпечує найвищий ухил. Ми пропонуємо отримати вираз упередженості.

Власне, максимальна ймовірність псевдо Пуассона (PPML) може розглядатися як хороше рішення цього питання. Треба враховувати наступний процес:

$y_i = a_i \exp(\alpha + x_i' \beta)$$E(a_i | x_i) = 1$

$\beta$$a_i$$y_i = 0$$E(a_i|x_i) = 1$$E( y_i - \exp(\alpha + x_i' \beta) | x_i) = 0$

$\sum_{i=1}^N ( y_i - \exp(\alpha + x_i' \beta) )x_i' = 0$

$y_i = 0$

$\beta$

$\log( y_i + \exp (\alpha + x_i' \beta)) = x_i' \beta + \eta_i$

Ми показуємо, що цей оцінювач є неупередженим і що його можна просто оцінити за допомогою GMM за допомогою будь-якого стандартного статистичного програмного забезпечення. Наприклад, це можна оцінити, виконавши лише один рядок коду з Stata.

Ми сподіваємось, що ця стаття може допомогти, і ми будемо раді отримати відгуки від вас.

Крістоф Белего та Луї-Даніель Папе CREST - Політехніка Ecole - ENSAE