Матричне позначення для логістичної регресії

У лінійній регресії (квадратичні втрати), використовуючи матрицю, ми маємо дуже стисле позначення цілі

$$\text{minimize}~~ \|Ax-b\|^2$$

Де - матриця даних, - коефіцієнти, а - відповідь.x $A$$x$$b$

Чи є подібні матричні позначення для цілі логістичної регресії? Усі помічені нами позначення не можуть позбутися суми за всіма точками даних (щось на зразок ).$\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$

---

EDIT: спасибі за joceratops та чудову відповідь AdamO. Їх відповідь допомогла мені зрозуміти, що ще одна причина лінійної регресії має більш стисле позначення, тому що визначення норми, яка інкапсулює квадрат і суму, або . Але в логістичних втратах немає такого визначення, що робить позначення трохи складнішими.$e^\top e$

У лінійній регресії рішення максимізації ймовірності оцінки (MLE) для оцінки $x$ має таке рішення закритої форми (якщо вважати, що A є матрицею з повним рангом стовпця):

$$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$$

Це читається як "знайти $x$ що мінімізує цільову функцію, $\|Ax-b\|_2^2$ ". Хороша річ , що представляють лінійна регресія цільової функції в цьому випадку є те , що ми можемо тримати все в матричної формі і вирішити для ї лин вручну. Як зазначає Алекс Р., на практиці ми часто не вважаємо ( A T A ) - 1 безпосередньо, тому що обчислювально неефективно і A часто не відповідає критеріям повного рангу. Замість цього ми переходимо до псевдоінверси Мура-Пенроуза$\hat{x}_\text{lin}$$(A^TA)^{-1}$$A$. Деталі обчислювального рішення для псевдоінверсії можуть включати декомпозицію Холеського або розклад сингулярного значення.

Альтернативно, рішення MLE для оцінки коефіцієнтів у логістичній регресії є:

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$$

де (якщо припустимо, що кожен зразок даних зберігається в рядковому порядку):

$x$ - вектор, що представляє коефіцієнти регресії

$a^{(i)}$ - вектор, що представляє$i^{th}$ вибірку / рядок у матриці даних$A$

$y^{(i)}$ є скаляром в$\{0, 1\}$ , і$i^{th}$ етикеткавідповідна$i^{th}$ зразка

$N$ є число вибірок даних / кількість рядків в матриці даних$A$ .

Знову ж таки, це читається як "знайти $x$ що мінімізує цільову функцію".

Якщо ви хочете, ви можете взяти його на крок далі і уявімо х журнал в матричному вигляді наступним чином :$\hat{x}_\text{log}$

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$$

але ви нічого не отримуєте від цього. Логістична регресія не має рішення закритої форми і не отримує таких самих переваг, як лінійна регресія, представляючи її в матричній нотації. Для того, щоб вирішити для ї балки методів оцінки , таких як градієнтний спуск і методу Ньютона-Рафсона використовується. Через використання деяких з цих методів (тобто Ньютона-Рафсона), х колоду апроксимується і представлена в матричної формі ( див посилання , надану Alex R. ).$\hat{x}_\text{log}$$\hat{x}_\text{log}$

@joceratops відповідь зосереджується на проблемі оптимізації максимальної вірогідності оцінки. Це дійсно гнучкий підхід, який піддається багатьом типам проблем. Для оцінки більшості моделей, включаючи лінійні та логістичні регресійні моделі, існує ще один загальний підхід, який базується на методі оцінки моментів.

Оцінювач лінійної регресії також може бути сформульований як корінь рівняння, що оцінює:

$$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$$

In this regard $\beta$ is seen as the value which retrieves an average residual of 0. It needn't rely on any underlying probability model to have this interpretation. It is, however, interesting to go about deriving the score equations for a normal likelihood, you will see indeed that they take exactly the form displayed above. Maximizing the likelihood of regular exponential family for a linear model (e.g. linear or logistic regression) is equivalent to obtaining solutions to their score equations.

$$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$$

Where $Y_i$ has expected value $g(\mathbf{X}_i \beta)$. In GLM estimation, $g$ is said to be the inverse of a link function. In normal likelihood equations, $g^{-1}$ is the identity function, and in logistic regression $g^{-1}$ is the logit function. A more general approach would be to require $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$ which allows for model misspecification.

Additionally, it is interesting to note that for regular exponential families, $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ which is called a mean-variance relationship. Indeed for logistic regression, the mean variance relationship is such that the mean $p = g(\mathbf{X}\beta)$ is related to the variance by $\mbox{var}(Y_i) = p_i(1-p_i)$. This suggests an interpretation of a model misspecified GLM as being one which gives a 0 average Pearson residual. This further suggests a generalization to allow non-proportional functional mean derivatives and mean-variance relationships.

A generalized estimating equation approach would specify linear models in the following way:

$$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$$

With $\mathbf{V}$ a matrix of variances based on the fitted value (mean) given by $g(\mathbf{X}\beta)$. This approach to estimation allows one to pick a link function and mean variance relationship as with GLMs.

In logistic regression $g$ would be the inverse logit, and $V_{ii}$ would be given by $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$. The solutions to this estimating equation, obtained by Newton-Raphson, will yield the $\beta$ obtained from logistic regression. However a somewhat broader class of models is estimable under a similar framework. For instance, the link function can be taken to be the log of the linear predictor so that the regression coefficients are relative risks and not odds ratios. Which--given the well documented pitfalls of interpreting ORs as RRs--behooves me to ask why anyone fits logistic regression models at all anymore.