Оцінка експоненціальної моделі

10

Експоненціальна модель - це модель, описана наступним рівнянням:

\hat{y_{i}} = β_{0} \cdot e^{β_{1} x_{1 i} + \dots + β_{k} x_{k i}}

$\hat{y_{i}}=\beta_{0}\cdot e^{\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}}$

Найбільш розповсюджений підхід для оцінки такої моделі - лінеаризація, яку можна легко здійснити шляхом обчислення логарифмів обох сторін. Які інші підходи? Мене особливо цікавлять ті, з якими в деяких спостереженнях може працювати . $y_{i}=0$

Оновлення 31.01.2011
Мені відомо, що ця модель не може привести до нуля. Я трохи детальніше розповім, що я моделюю, і чому я вибираю цю модель. Скажімо, ми хочемо передбачити, скільки грошей витрачає клієнт у магазині. Звичайно, багато клієнтів просто дивляться, і вони нічого не купують, тому їх є 0. Я не хотів використовувати лінійну модель, оскільки вона створює багато негативних значень, що не має сенсу. Інша причина полягає в тому, що ця модель працює справді добре, набагато краще, ніж лінійна. Я використовував генетичний алгоритм для оцінки цих параметрів, тому це не був "науковий" підхід. Тепер я хотів би знати, як вирішити проблему, використовуючи більш наукові методи. Можна також припустити, що більшість або навіть усі змінні є бінарними змінними.

estimation nonlinear-regression

— Томек Тарчинський
джерело

1

якщо у ваших даних є нулі, експоненціальна регресія може виявитися невідповідною, оскільки модель, як ви заявили, не може дозволити дотримання нульових значень.

— mpiktas

11

Тут є кілька питань.

(1) Модель має бути явно вірогідною . Майже у всіх випадках не буде НЕ набір параметрів , для яких Л.Ш. відповідає РІТ для всіх ваших даних: буде нев'язки. Вам потрібно зробити припущення щодо цих залишків. Ви очікуєте, що в середньому вони будуть нульовими? Бути симетрично розподіленим? Щоб бути приблизно нормально розподіленим?

Ось дві моделі, які погоджуються з вказаною, але дозволяють різко відрізнятися залишковим поведінкою (і, отже, зазвичай призводять до різних оцінок параметрів). Ви можете змінювати ці моделі, змінюючи припущення про спільний розподіл : $\epsilon_{i}$

A: y_{i} = β_{0} \exp (β_{1} x_{1 i} + \dots + β_{k} x_{k i} + ϵ_{i})

$\text{A:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki} + \epsilon_{i}\right)}$

B: y_{i} = β_{0} \exp (β_{1} x_{1 i} + \dots + β_{k} x_{k i}) + ϵ_{i} .

$\text{B:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}\right)} + \epsilon_{i}.$

$y_i$ $\hat{y_i}$

(2) Необхідність обробляти нульові значення для y означає, що заявлена модель (A) є неправильною і неадекватною , оскільки вона не може дати нульового значення незалежно від того, дорівнює випадкова помилка. Друга модель вище (B) передбачає нульові (або навіть негативні) значення y. Однак не слід вибирати модель виключно на такій основі. Ще раз повторюю: важливо досить добре моделювати помилки.

(3) Лінеаризація змінює модель . Як правило, це призводить до таких моделей, як (A), але не як (B). Її використовують люди, які достатньо проаналізували свої дані, щоб знати, що ця зміна не вплине помітно на оцінки параметрів, а також на людей, які не знають про те, що відбувається. (Важко, багато разів, сказати різницю.)

$y$

\begin{aligned} f (y_{i}) & \sim F (θ); \\ θ_{j} & = β_{j 0} + β_{j 1} x_{1 i} + \dots + β_{j k} x_{k i} \end{aligned}

$\eqalign{ f(y_i) &\sim F(\mathbf{\theta}); \cr \theta_j &= \beta_{j0} + \beta_{j1} x_{1i} + \cdots + \beta_{jk} x_{ki} }$

$\Pr_{F_\theta}[f(Y) = 0] = \theta_{j+1} \gt 0$ $\mathbf{\theta}$ $F$ $\theta_1, \ldots, \theta_j$ $f$ $y$ $\Pr_{F_\theta}[f(Y) \le t]$ $(1 - \theta_{j+1})F_\theta(t)$ $t \ne 0$

(5) Питання побудови моделі та її пристосування пов'язані, але різні . Як простий приклад, навіть звичайна регресійна модель може бути багатьма способами за допомогою найменших квадратів (що дає ті самі оцінки параметрів, як Максимальна ймовірність та майже однакові стандартні помилки), ітераційно переобладнані найменші квадрати , різні інші форми " найміцніших найменших квадратів " і т. д. Вибір підгонки часто базується на зручності, доцільності ( наприклад , доступності програмного забезпечення), знайомстві, звичці або умові, але принаймні слід подумати. задано те, що підходить для передбачуваного розподілу термінів помилки , до чого $Y = \beta_0 + \beta_1 X + \epsilon$ $\epsilon_i$ Функція втрати для проблеми може бути розумною і до можливості використання додаткової інформації (наприклад, попереднього розподілу параметрів).

— дзижчати
джерело

10

Це узагальнена лінійна модель (GLM) з функцією зв’язку журналу .

Будь-який розподіл ймовірностей на з ненульовою щільністю при нулі буде обробляти в деяких спостереженнях; найпоширенішим був би розподіл Пуассона, в результаті якого відбулася пуассонова регресія , відома також як лінійне лінійне моделювання. Іншим вибором буде негативний біноміальний розподіл . $[0,\infty)$ $y_i=0$

Якщо у вас немає даних про підрахунок або якщо приймає не цілі значення, ви все одно можете використовувати рамку узагальнених лінійних моделей, не вказуючи повністю розподіл для але замість цього лише уточнюючи зв'язок між її середньою та дисперсією з використанням квазіімовірності . $y_i$ $\operatorname{P}(y_i|\bf{x})$

— одна зупинка
джерело

Сором, я цього не вчили в університеті: / Здається, це буде корисним у цьому випадку, але мені потрібен певний час, щоб заглибитись у деталі. Дякую!

— Томек Тарчинський

Зауважте, що завжди можна змінити на цілі значення, коли це раціонально, наприклад, виміряйте пенс / центи, а не фунти / долари. Хоча ви, можливо, захочете обійти найближчий фунт / долар так чи інакше, оскільки розподіл пенси / копійок частини ціни товару, ймовірно, буде дуже нерівномірним (тобто переважно 99).

y_{i}

$y_i$

— Джеймс

3

Завжди можна використовувати нелінійні найменші квадрати . Тоді ваша модель буде:

y_{i} = β_{0} \exp (β_{1} x_{1 i} + . . . + β_{k} x_{k i}) + ε_{i}

$y_i=\beta_0\exp(\beta_1x_{1i}+...+\beta_kx_{ki})+\varepsilon_i$

Нулі в тоді трактуватимуться як відхилення від нелінійної тенденції. $y_i$

— mpiktas
джерело

А як щодо початкових значень параметрів? Який хороший спосіб їх вибрати? Як я зазначив в оновленнях, можна припустити, що не існує безперервних змінних.

— Томек Тарчинський

@Tomek, я думаю, немає жодного хорошого способу їх вибору. Зазвичай це залежить від даних. Я пропоную середнє значення для перехоплення та нульове значення для інших коефіцієнтів.

— mpiktas