Запитання з тегом «maximum-entropy»

Я знаю, що ентропія є мірою випадковості процесу / змінної, і її можна визначити наступним чином. для випадкової величини множині : - . У книзі про ентропію та теорію інформації Маккея він подає це твердження в Ch2X∈Х∈X \inAАAH(X)=∑xi∈A−p(xi)log(p(xi))Н(Х)=∑хi∈А-p(хi)журнал⁡(p(хi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) Ентропія максимальна, якщо р рівномірний. Інтуїтивно, …

32 uniform  entropy  maximum-entropy 

У цій роботі талановитий дослідник Косма Шалізі стверджує, що для повного прийняття суб'єктивного байєсівського погляду необхідно також прийняти нефізичний результат того, що стрілка часу (дана потоком ентропії) насправді повинна йти назад . Це в основному спроба сперечатися проти максимальної ентропії / повністю суб'єктивного байєсівського погляду, висунутого та популяризованого Е.Т. Джейнес …

31 bayesian  entropy  maximum-entropy  philosophical 

Я використав принцип максимальної ентропії для обгрунтування використання декількох розподілів у різних налаштуваннях; однак мені ще не вдається сформулювати статистичну, на відміну від інформаційно-теоретичної інтерпретації максимальної ентропії. Іншими словами, що означає максимізація ентропії щодо статистичних властивостей розподілу? Хтось наткнувся чи, можливо, виявив собі статистичну інтерпретацію макс. ентропійні розподіли, які не …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Я використовую звичайні розподіли журналу як попередні розподіли для параметрів масштабу (для звичайних розподілів, t розподілів і т. Д.), Коли маю грубе уявлення про те, яким повинен бути масштаб, але хочу помилитися, сказавши, що я не знаю багато про це. Я використовую його, тому що таке використання має для мене …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Для довільної безперервної випадкової величини, скажімо , чи є її диференціальна ентропія завжди меншою від ? (Це нормально, якщо це .) Якщо ні, то яка необхідна і достатня умова, щоб вона була менше ?XXX∞∞\infty−∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

Я намагаюсь скрутити наступний доказ того, що у Гауса є максимальна ентропія. Як має значення зірковий крок? Конкретна коваріація фіксує лише другий момент. Що відбувається з третім, четвертим, п'ятим моментами тощо?

13 entropy  information-theory  maximum-entropy 

Який максимальний розподіл ентропії для позитивної безперервної змінної з огляду на її перший та другий моменти? Наприклад, розподіл Гаусса - це максимальний розподіл ентропії для безмежної змінної, враховуючи її середнє та стандартне відхилення, а розподіл Гамма - це максимальний розподіл ентропії для позитивної змінної, враховуючи її середнє значення та середнє …

13 distributions  standard-deviation  mean  maximum-entropy 

Питання: завантажувальний процес перевершує джекніфінг; однак мені цікаво, чи є випадки, коли jackknifing є єдиним або принаймні життєздатним варіантом для визначення невизначеності оцінок параметрів. Крім того, на практичних ситуаціях, наскільки упередженим / неточним є джекніфінг відносно завантажувального завантаження, і чи можуть результати джекніфа забезпечити попереднє розуміння перед тим, як розробити …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Нехай - спільний розподіл двох категоріальних змінних , з . Скажімо, вибірок було взято з цього розподілу, але нам дано лише граничні підрахунки, а саме для : X , Y x , y ∈ { 1 , … , K } n j = 1 , … , Kpx,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

Одне з важливих питань, з яким стикаються синоптики, - чи можна прогнозувати дану серію чи ні? Я натрапив на статтю " Ентропія як первісний показник передбачуваності " Пітера Катта, яка використовує приблизну ентропію (ApEn) як відносну міру для визначення певного часового ряду. У статті йдеться про: "Менші значення ApEn вказують …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Я читав дискусію в Hacker News про використання стандартного відхилення на відміну від інших показників, таких як середнє абсолютне відхилення. Отже, якби ми дотримувались принципу максимальної ентропії, який би розподіл ми б використовували, якби ми знали лише середню величину розподілу та середнє абсолютне відхилення? Або має сенс використовувати медіану та …

10 distributions  maximum-entropy  mad 

Коротке запитання: Чому це правда ?? Довге запитання: Дуже просто, я намагаюся з'ясувати, що виправдовує це перше рівняння. Автор книги, яку я читаю, (контекст тут, якщо ви цього хочете, але не потрібно), стверджує таке: Зважаючи на припущення про майже-гауссованість, ми можемо написати: p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ))p0(ξ)=Аϕ(ξ)ехp(ан+1ξ+(ан+2+12)ξ2+∑i=1наiГi(ξ)) p_0(\xi) = A \; \phi(\xi) \; exp( …

9 probability  normal-distribution  entropy  maximum-entropy 

Мене заінтригує концепція моделі максимальної ентропії Маркова (MEMM), і я думаю про те, щоб використати її для тегера частини мови (POS). На даний момент я використовую звичайний класифікатор максимальної ентропії (ME) для позначення кожного окремого слова. Для цього використовується ряд функцій, включаючи попередні два теги. МЕМ використовують алгоритм Вітербі для …

9 machine-learning  mcmc  maximum-entropy  memm