Чи може емпіричний гессіан М-оцінювача бути невизначеним?

Джеффрі Уолдрідж у своєму Економетричному аналізі даних перерізів та панелей (стор. 357) говорить, що емпіричний Гессіан "не гарантується певним позитивним чи навіть позитивним напівфінітом для конкретного зразка, з яким ми працюємо".

Мені це здається неправильним, оскільки (числові проблеми, крім) Гессіан повинен бути позитивним напівдефінітом у результаті визначення М-оцінника як значення параметра, що мінімізує цільову функцію для даної вибірки та добре відомий факт, що при (локальному) мінімумі гессієн є позитивним напівфінітом.

Чи правильно мій аргумент?

[EDIT: Заява видалено у другому виданні. книги. Дивіться коментар.]

Передумови Припустимо , що θ N є оцінка виходить шляхом мінімізації 1$\widehat \theta_N$

Позначимо гессіану через H , H ( q , θ ) i j = ∂ 2$q$$H$

Асимптотична ковариация & thetas п включає Е [ Н ( д , & thetas ; 0 ) ] , де θ 0 є істинним значенням параметра. Один із способів оцінити це - використання емпіричного Гессіана$\widehat \theta_n$$E[H(q,\theta_0)]$$\theta_0$

Це визначеність Н , яка знаходиться під питанням.$\widehat H$

Я думаю, ти маєш рацію. Давайте перекажемо ваш аргумент до його суті:

1. мінімізує функціюQвизначається якQ(thetas)=$\widehat \theta_N$$Q$$Q(\theta) = {1 \over N}\sum_{i=1}^N q(w_i,\theta).$

2. Нехай - гессіан Q , звідси H ( θ ) = ∂ 2$H$$Q$ за визначенням, а це, в свою чергу, за лінійністю диференціації дорівнює$H(\theta) = \frac{\partial^2 Q}{\partial \theta_i \partial \theta_j}$.$\frac{1}{N}\sum_{i=1}^N H(w_i, \theta_n)$

3. Припускаючи , що & thetas ; N лежить у внутрішній частині області Q , то Н ( θ N ) повинен бути позитивним полуопределенним.$\widehat \theta_N$$Q$$H(\widehat \theta_N)$

Це просто твердження про функції : як вона визначається лише відволікання, за винятком тих випадків, коли передбачається другого порядку дифференцируемость ц щодо другого аргументу ( & thetas ) забезпечує другий порядок дифференцируемости Q .$Q$$q$$\theta$$Q$

Пошук M-оцінок може бути складним. Розглянемо ці дані, надані @mpiktas:

{1.168042, 0.3998378}, {1.807516, 0.5939584}, {1.384942, 3.6700205}, {1.327734, -3.3390724}, {1.602101, 4.1317608}, {1.604394, -1.9045958}, {1.124633, -3.0865249}, {1.294601, -1.8331763},{1.577610, 1.0865977}, { 1.630979, 0.7869717}

Процедура R для знаходження М-оцінки з дала рішення ( c 1 , c 2 ) = ( - 114.91316 , - 32.54386 ) . Значення цільової функції (середнє значення q ) в цій точці дорівнює 62,3542. Ось сюжет пристосування:$q((x,y),\theta)=(y-c_1x^{c_2})^4$$(c_1, c_2)$$(-114.91316, -32.54386)$$q$

Ось сюжет цільової функції (log) у сусідньому районі:

Тут щось риб'яче: параметри пристосування надзвичайно далекі від параметрів, що використовуються для імітації даних (поблизу ), і нам, здається, не мінімум: ми знаходимось у надзвичайно мілкою долині, що нахилена. у бік більших значень обох параметрів:$(0.3, 0.2)$

Негативна детермінанта Гессі в цей момент підтверджує, що це не локальний мінімум! Тим не менше, дивлячись на мітки осі z, можна побачити, що ця функція є рівною до п'ятицифрової точності у всій області, оскільки вона дорівнює постійній 4,1329 (логарифм 62,354). Це, ймовірно, змусило мінімізатор функцій R (за його типовими відхиленнями) зробити висновок, що він був майже мінімальним.

Насправді рішення далеко не з цього пункту. Щоб впевнитись у знаходженні цього, я застосував обчислювально дорогий, але високоефективний метод " Основна вісь " в Mathematica , використовуючи 50-значну точність (основа 10), щоб уникнути можливих числових проблем. Він знаходить мінімум поблизу де цільова функція має значення 58,292655: приблизно на 6% менше, ніж "мінімум", знайдений R. Цей мінімум зустрічається у надзвичайно плоскому вигляд , але я можу зробити так, щоб він виглядав (лише ледь) як справжній мінімум, з еліптичними контурами, перебільшуючи c $(c_1, c_2) = (0.02506, 7.55973)$$c_2$ напрямок у сюжеті:

Контури коливаються від 58,29266 посередині аж до 58,29284 в кутах (!). Ось тривимірний вигляд (знову ж таки мета журналу):

Тут гессієн є позитивно визначеним: його власні значення 55062,02 та 0,430978. Таким чином, ця точка є локальним мінімумом (і, швидше за все, глобальним мінімумом). Ось відповідність, якій вона відповідає:

Я думаю, що це краще, ніж інший. Значення параметрів, безумовно, більш реалістичні, і зрозуміло, що ми не зможемо зробити це набагато краще з цим сімейством кривих.

З цього прикладу можна зробити корисні уроки:

1. Числова оптимізація може бути складною, особливо з функціями нелінійної підгонки та неквадратичної втрати. Тому:
2. Перевіряйте результати якомога більше способів, включаючи:
3. Графікуйте цільову функцію, коли зможете.
4. Коли чисельні результати порушують математичні теореми, будьте вкрай підозрілими.
5. Коли статистичні результати викликають подив - такі, як дивні значення параметрів, повернені кодом R - будуть надзвичайно підозрілими.

Цінову пропозицію можна знайти тут . $\hat{\theta}_N$

$\hat{\theta}_N$$\Theta$$\hat{H}$

$N^{-1}\sum_{i=1}^Nq(w_i,\theta)$$\theta_0$

$N^{-1}\sum_{i=1}^Nq(w_i,\theta)$$\Theta$

Далі у своїй книзі Вулдрідж наводить приклади оцінок Гессіана, які гарантовано є чисельно позитивними. На практиці непозитивна визначеність Гессіана повинна вказувати, що рішення знаходиться або на граничній точці, або в алгоритмі не вдалося знайти рішення. Що зазвичай є додатковим свідченням того, що встановлена ​​модель може бути невідповідною для даних даних.

Ось чисельний приклад. Я генерую нелінійну проблему з найменшими квадратами:

I take $X$ uniformly distributed in interval $[1,2]$ and $\varepsilon$ normal with zero mean and variance $\sigma^2$. I generated a sample of size 10, in R 2.11.1 using set.seed(3). Here is the link to the values of $x_i$ and $y_i$.

I chose the objective function square of usual non-linear least squares objective function:

Here is the code in R for optimising function, its gradient and hessian.

##First set-up the epxressions for optimising function, its gradient and hessian.
##I use symbolic derivation of R to guard against human error    
mt <- expression((y-c1*x^c2)^4)

gradmt <- c(D(mt,"c1"),D(mt,"c2"))

hessmt <- lapply(gradmt,function(l)c(D(l,"c1"),D(l,"c2")))

##Evaluate the expressions on data to get the empirical values. 
##Note there was a bug in previous version of the answer res should not be squared.
optf <- function(p) {
    res <- eval(mt,list(y=y,x=x,c1=p[1],c2=p[2]))
    mean(res)
}

gf <- function(p) {
    evl <- list(y=y,x=x,c1=p[1],c2=p[2]) 
    res <- sapply(gradmt,function(l)eval(l,evl))
    apply(res,2,mean)
}

hesf <- function(p) {
    evl <- list(y=y,x=x,c1=p[1],c2=p[2]) 
    res1 <- lapply(hessmt,function(l)sapply(l,function(ll)eval(ll,evl)))
    res <- sapply(res1,function(l)apply(l,2,mean))
    res
}

First test that gradient and hessian works as advertised.

set.seed(3)
x <- runif(10,1,2)
y <- 0.3*x^0.2

> optf(c(0.3,0.2))
[1] 0
> gf(c(0.3,0.2))
[1] 0 0
> hesf(c(0.3,0.2))
     [,1] [,2]
[1,]    0    0
[2,]    0    0
> eigen(hesf(c(0.3,0.2)))$values
[1] 0 0

The hessian is zero, so it is positive semi-definite. Now for the values of $x$ and $y$ given in the link we get

> df <- read.csv("badhessian.csv")
> df
          x          y
1  1.168042  0.3998378
2  1.807516  0.5939584
3  1.384942  3.6700205
4  1.327734 -3.3390724
5  1.602101  4.1317608
6  1.604394 -1.9045958
7  1.124633 -3.0865249
8  1.294601 -1.8331763
9  1.577610  1.0865977
10 1.630979  0.7869717
> x <- df$x
> y <- df$y
> opt <- optim(c(1,1),optf,gr=gf,method="BFGS")  
> opt$par
[1] -114.91316  -32.54386
> gf(opt$par)
[1] -0.0005795979 -0.0002399711
> hesf(opt$par)
              [,1]         [,2]
[1,]  0.0002514806 -0.003670634
[2,] -0.0036706345  0.050998404
> eigen(hesf(opt$par))$values
[1]  5.126253e-02 -1.264959e-05

Gradient is zero, but the hessian is non positive.

Note: This is my third attempt to give an answer. I hope I finally managed to give precise mathematical statements, which eluded me in the previous versions.

The hessian is indefinite at a saddle point. It’s possible that this may be the only stationary point in the interior of the parameter space.

Update: Let me elaborate. First, let’s assume that the empirical Hessian exists everywhere.

If $\hat{\theta}_n$ is a local (or even global) minimum of $\sum_i q(w_i, \cdot)$ and in the interior of the parameter space (assumed to be an open set) then necessarily the Hessian $(1/N) \sum_i H(w_i, \hat{\theta}_n)$ is positive semidefinite. If not, then $\hat{\theta}_n$ is not a local minimum. This follows from second order optimality conditions — locally $\sum_i q(w_i, \cdot)$ must not decrease in any directions away from $\hat{\theta}_n$.

One source of the confusion might the "working" definition of an M-estimator. Although in principle an M-estimator should be defined as $\arg\min_\theta \sum_i q(w_i, \theta)$, it might also be defined as a solution to the equation

Practically speaking, even a positive definite Hessian that is nearly singular or ill-conditioned would suggest that the estimator is poor and you have more to worry about than estimating its variance.

There's been a lot of beating around the bush in this thread regarding whether the Hessian has to be positive (semi)definite at a local minimum. So I will make a clear statement on that.

Presuming the objective function and all constraint functions are twice continuously differentiable, then at any local minimum, the Hessian of the Lagrangian projected into the null space of the Jacobian of active constraints must be positive semidefinite. I.e., if $Z$ is a basis for the null space of the Jacobian of active constraints, then $Z^T*(\text{Hessian of Lagrangian})*Z$ must be positive semidefinite. This must be positive definite for a strict local minimum.

So the Hessian of the objective function in a constrained problem having active constraint(s) need not be positive semidefinite if there are active constraints.

Notes:

1) Active constraints consist of all equality constraints, plus inequality constraints which are satisfied with equality.

2) See the definition of the Lagrangian at https://www.encyclopediaofmath.org/index.php/Karush-Kuhn-Tucker_conditions .

3) If all constraints are linear, then the Hessian of the Lagrangian = Hessian of the objective function because the 2nd derivatives of linear functions are zero. But you still need to do the projection jazz if any of these constraints are active. Note that lower or upper bound constraints are particular cases of linear inequality constraints. If the only constraints which are active are bound constraints, the projection of the Hessian into the null space of the Jacobian of active constraints amounts to eliminating the rows and columns of the Hessian corresponding to those components on their bounds.

4) Because Lagrange multipliers of inactive constraints are zero, if there are no active constraints, the Hessian of the Lagrangian = the Hessian of the objective function, and the Identity matrix is a basis for the null space of the Jacobian of active constraints, which results in the simplification of the criterion being the familiar condition that the Hessian of the objective function be positive semidefinite at a local minimum (positive definite if a strict local minimum).

The positive answers above are true but they leave out the crucial identification assumption - if your model is not identified (or if it is only set identified) you might indeed, as Wooldridge correctly indicated, find yourself with a non-PSD empirical Hessian. Just run some non-toy psychometric / econometric model and see for yourself.