Запитання з тегом «fisher-information»

Мені не подобається інформація про Фішера, що вона вимірює і наскільки вона корисна. Крім того, це стосунки з прив'язкою Крамера-Рао мені не видно. Чи може хтось, будь ласка, дати інтуїтивне пояснення цих понять?

59 estimation  intuition  fisher-information 

Гаразд, це досить основне питання, але я трохи розгублений. У своїй дипломній роботі я пишу: Стандартні помилки можна знайти, обчисливши обернену квадратний корінь діагональних елементів (спостережуваної) матриці Інформації Фішера: sμ^,σ^2=1I(μ^,σ^2)−−−−−−√sμ^,σ^2=1I(μ^,σ^2)\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*} Оскільки команда оптимізації в R зводить до мінімуму (спостерігається) матриця інформації Фішера можна знайти, обчисливши зворотну частину Гессі: …

54 maximum-likelihood  fisher-information 

Припустимо, у нас є випадкова величина . Якщо були істинним параметром, функцію вірогідності слід максимізувати, а похідну дорівнює нулю. Це основний принцип, що стоїть за оцінкою максимальної ймовірності.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Як я розумію, інформація про Фішера визначається як I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] Таким чином, якщо - істинний …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Чи може хтось довести наступний зв’язок між метрикою інформації Фішера та відносною ентропією (або розбіжністю KL) чисто математично суворим способом? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) де a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log …

20 mathematical-statistics  kullback-leibler  fisher-information 

З огляду на наступну ієрархічну модель, і, де є нормальним розподілом. Чи є спосіб отримати точний вираз для інформації Фішера граничного розподілу наведеного c . Тобто, яка інформація про Фішера: p (x | c) = \ int p (x | \ mu) p (\ mu | c) d \ mu …

20 multilevel-analysis  information  fisher-information 

Нехай . Інформаційна матриця Фішера визначається як:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Як я можу довести, що інформаційна матриця Фішера є позитивною напівмешиною?

18 inference  linear-algebra  fisher-information 

Я відкладаю "відповідь" на питання, яке я дав десь два тижні тому: Чому корисність "Джеффріс" корисна? Це справді було питання (і я тоді не мав права публікувати коментарі), тому я сподіваюся, що це нормально: У посиланні вище обговорюється, що цікавою особливістю Джефріса до цього є те, що при перемодуванні моделі …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

У стандартному налаштуваннях максимальної вірогідності (iid зразок з деякого розподілу з щільністю )) і у випадку коректно вказаної моделі Фішер інформацію надає f y ( y | θ 0Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] де очікування приймається щодо справжньої щільності, яка генерувала дані. Я читав, що спостерігається інформація …

17 maximum-likelihood  fisher-information 

Я намагаюся довести, що спостережувана інформаційна матриця, оцінена за слабко послідовним оцінкою максимальної ймовірності (MLE), є слабко послідовним оцінником очікуваної інформаційної матриці. Це широко цитований результат, але ніхто не дає посилань чи доказів (я вичерпав, я думаю, перші 20 сторінок результатів Google і мої підручники з статистикою)! Використовуючи слабко послідовну …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Перестановочні тести (також називаються тестом рандомизації, тестом на повторну рандомізацію або точним тестом) дуже корисні і корисні, коли припущення про нормальний розподіл, необхідне, наприклад, t-testне виконується, і при перетворенні значень за ранжуванням непараметричний тест, як-от Mann-Whitney-U-test, призведе до втрати більше інформації. Однак одне і єдине припущення не слід оминути увагою …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

(Я подібне питання розмістив на math.se. ) В інформаційній геометрії визначник інформаційної матриці Фішера є природною формою об'єму на статистичному колекторі, тому він має приємну геометричну інтерпретацію. Той факт, що він виявляється у визначенні Джефріса до, наприклад, пов'язаний з його інваріантністю в рамках репараметризації, яка є (імхо) геометричною властивістю. Але …

13 variance  information-theory  fisher-information  information-geometry 

Різні підручники цитують різні умови існування інформаційної матриці Фішера. Нижче наведено декілька таких умов, кожна з яких міститься у деяких, але не у всіх, визначеннях "інформаційної матриці Фішера". Чи є стандартний мінімальний набір умов? З 5 наведених нижче умов, які можна усунути? Якщо одну з умов можна виконати, чому ви …

13 fisher-information 

Розглянемо випадкову змінну Бернуллі з параметром (ймовірність успіху). Функція ймовірності та інформація Фішера ( матриця ):Х∈ { 0 , 1 }Х∈{0,1}X\in\{0,1\}θθ\theta1 × 11×11 \times 1 L1( θ ; X)Я1( θ )= p (Х| θ ) =θХ( 1 - θ)1 - X= detЯ1( θ ) =1θ ( 1 - θ )L1(θ;Х)=p(Х|θ)=θХ(1-θ)1-ХЯ1(θ)=detЯ1(θ)=1θ(1-θ) …

10 bernoulli-distribution  parameterization  fisher-information  determinant 

Приклади: у мене є речення в описі посади: "Старший інженер Java у Великобританії". Я хочу використовувати модель глибокого навчання, щоб передбачити її як 2 категорії: English і IT jobs. Якщо я використовую традиційну модель класифікації, вона може передбачити лише 1 мітку з softmaxфункцією на останньому шарі. Таким чином, я можу …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

З "По всій вірогідності: статистичне моделювання та умовивід з використанням ймовірності" Ю. Павітана, ймовірність повторної параметризації визначається як так що якщо g один-до-одного, то L ^ * (\ psi) = L (g ^ {- 1} (\ psi)) (стор. 45). Я намагаюся показати вправу 2.20, в якій сказано, що якщо \ …

9 mathematical-statistics  inference  likelihood  fisher-information