Це дійсно просто зручність для логопедичності, нічого більше.
Я маю на увазі зручність сум по відношенню до продуктів: , з цими сумами простіше розібратися в багатьох аспектах, таких як диференціація чи інтеграція. Я намагаюся сказати, що це не зручність лише для експоненціальних сімей.ln(∏ixi)=∑ilnxi
Коли ви маєте справу зі випадковою вибіркою, ймовірності мають форму: , тому ймовірність логгіки розбила б цей продукт на суму, що легше маніпулювати та аналізувати. Це допомагає, що все, що нас хвилює, - це точка максимуму, значення на максимумі не важливо, тому ми можемо застосувати будь-яке монотонне перетворення, наприклад логарифм.L=∏ipi
На кривизну інтуїція. Зрештою, це те саме, що і в кінці другого похідного від логічності.
ОНОВЛЕННЯ: Це те, що я мав на увазі під кривизною. Якщо у вас функція , то її кривизна буде ( див. (14) на Wolfram):
κ = f ″ ( x )y=f(x)
κ=f′′(x)(1+f′(x)2)3/2
Друга похідна ймовірності журналу:
A=(lnf(x))′′=f′′(x)f(x)−(f′(x)f(x))2
У точці максимуму перша похідна, очевидно, дорівнює нулю, тому ми отримуємо:
Отже, мій зворот, що кривизна ймовірності а друга похідна від логотипності - це те саме, що таке.
κmax=f′′(xmax)=Af(xmax)
З іншого боку, якщо перша похідна ймовірності мала не тільки в точці максимуму, а й навколо точки максимуму, тобто функція ймовірності є плоскою, то отримуємо:
Тепер плоска ймовірність це не дуже добре для нас, тому що робить знаходження максимуму важче числовим, а максимальна ймовірність не настільки краща, ніж інші точки навколо нього, тобто помилки в оцінці параметрів високі.
κ≈f′′(x)≈Af(x)
І знову: ми все ще маємо співвідношення кривизни та другої похідної. То чому Фішер не подивився на викривлення функції ймовірності? Я думаю, що це з тієї ж причини зручності. Простіше маніпулювати імовірністю логгінгу через суму замість продукту. Таким чином, він міг вивчити кривизну ймовірності, проаналізувавши другу похідну логгієстичності. Хоча рівняння виглядає дуже простим для кривизни , насправді ви берете другу похідну добутку, яка є меншою, ніж сума другої похідної.κmax=f′′(xmax)
ОНОВЛЕННЯ 2:
Ось демонстрація. Я намалював (повністю складену) функцію ймовірності, її а) кривизну і б) 2-ю похідної її журналу. На лівій стороні ви бачите вузьку вірогідність, а на правій - широку. Ви бачите, як у точці максимальної ймовірності а) та б) сходяться, як слід. Що ще важливіше, ви можете вивчити ширину (або площинність) функції ймовірності, вивчивши 2-ю похідну її лого-ймовірності. Як я писав раніше, останній технічно простіше, ніж перший для аналізу.
Не дивно, що глибше 2-го похідна сигналів вірогідності логістично функціонує вірогідність своєї максимуму, що не бажано, оскільки це призводить до більшої похибки оцінки параметрів.
Код MATLAB у випадку, якщо ви хочете відтворити сюжети:
f=@(x,a)a.^2./(a.^2+x.^2);
c = @(x,a)(-2*a.^2.*(a.^2-3*x.^2)./(a.^2+x.^2).^3/(4*a.^4.*x.^2/(a.^2+x.^2).^4+1).^(3/2));
ll2d = @(x,a)(2*(x.^2-a.^2)./(a.^2+x.^2).^2);
h = 0.1;
x=-10:h:10;
% narrow peak
figure
subplot(1,2,1)
a = 1;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Narrow Likelihood'
ylim([-2 1])
% wide peak
subplot(1,2,2)
a=2;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Wide Likelihood'
legend('likelihood','curvature','2nd derivative LogL','location','best')
ylim([-2 1])
ОНОВЛЕННЯ 3:
У наведеному вище коді я включив деяку довільну функцію дзвоникової форми в рівняння кривизни, потім обчислив другу похідну її журналу. Я нічого не переосмислював, значення прямі з рівнянь, щоб показати еквівалентність, про яку я згадував раніше.
Ось найперший документ про ймовірність, який Фішер опублікував ще в університеті, "Про абсолютний критерій підгонки частотних кривих", "Месенджер математики", 41: 155-160 (1912)
logP′=∑n1logp
logP=∫∞−∞logfdx
P
Одне, що слід зазначити, читаючи статтю, він починав лише з максимальної роботи з оцінки ймовірності, і зробив більше роботи протягом наступних 10 років, так що навіть термін MLE ще не був придуманий, наскільки я знаю.