Запитання з тегом «kullback-leibler»

Мені потрібно визначити KL-розбіжність між двома гауссами. Я порівнюю свої результати з цими , але не можу відтворити їх результат. Мій результат, очевидно, неправильний, оскільки KL не дорівнює 0 для KL (p, p). Цікаво, де я роблю помилку, і запитую, чи хтось може це помітити. Нехай і . З PRML …

79 normal-distribution  kullback-leibler 

Я дізнався про інтуїцію, що лежить в основі KL Divergence, наскільки функція розподілу моделі відрізняється від теоретичного / правдивого розподілу даних. Джерело Читаю продовжує говорити про те , що інтуїтивне розуміння «відстаней» між цими двома розподілами є корисним, але не слід сприймати буквально , тому що для двох розподілів і …

47 distributions  distance  intuition  kullback-leibler 

У мене виникають проблеми з виведенням формули дивергенції KL, припускаючи два багатоваріантні нормальні розподіли. Я зробив універсальну справу досить легко. Однак минуло досить багато часу, як я взяв статистику з математики, тож у мене виникли певні труднощі з поширенням її на багатоваріантну справу. Я впевнений, що мені просто не вистачає …

46 normal-distribution  kullback-leibler  proof 

На мій погляд, розбіжність KL від розподілу вибірки до справжнього розподілу - це просто різниця між перехресною ентропією та ентропією. Чому ми використовуємо перехресну ентропію як функцію витрат у багатьох моделях машинного навчання, а використовуємо дивергенцію Kullback-Leibler в t-sne? Чи є різниця в швидкості навчання?

39 kullback-leibler  tsne  cross-entropy 

Я можу бачити, що між відстаніми мірами Кульбека – Лейблера проти Колмогорова-Смірнова відстані між великими формальними відмінностями. Однак обидва використовуються для вимірювання відстані між розподілами. Чи є типова ситуація, коли одну слід використовувати замість іншої? Що обґрунтовує це?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Я шукаю інтуїтивне пояснення для наступних питань: У теорії статистики та інформації, чим відрізняється відстань Бхаттачарія від розбіжності KL як міри різниці між двома дискретними розподілами ймовірностей? Чи не мають вони абсолютно ніяких зв’язків і вимірюють відстань між двома розподілами ймовірностей абсолютно різним чином?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Чи є заходи подібності чи відстані між двома симетричними матрицями коваріації (обидві мають однакові розміри)? Я маю на увазі аналоги KL-розбіжності двох розподілів ймовірностей або евклідової відстані між векторами, за винятком матриць. Я думаю, було б досить багато вимірювань подібності. В ідеалі я також хотів би перевірити нульову гіпотезу про …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Подивіться на цю картинку: Якщо ми виведемо вибірку з червоної щільності, то очікується, що деякі значення будуть меншими ніж 0,25, тоді як неможливо сформувати такий зразок із синього розподілу. Як наслідок, відстань Кульбека - Лейблера від червоної щільності до синьої щільності - нескінченність. Однак обидві криві у певному "природному сенсі" …

28 kullback-leibler 

Яка практична різниця між Wasserstein метрикою і Кульбакою-Лейблером дивергенцией ? Метрику Вассерстейна також називають відстань руху Землі . З Вікіпедії: Метрика Вассерстейна (або Васерштейна) - це відстань, яка визначається між розподілами ймовірностей на заданому метричному просторі М. і Дивергенція Куллбека – Лейблера - це міра того, як один розподіл ймовірностей …

25 distributions  kullback-leibler  metric  wasserstein 

Після довгого траулінгу Cross Valified я все ще не відчуваю, що я ближче до розуміння розбіжності KL поза сферою теорії інформації. Це досить дивно, як комусь із математичним фоном, щоб було набагато простіше зрозуміти пояснення теорії інформації. Щоб окреслити моє розуміння з передумови теорії інформації: Якщо у нас є випадкова …

23 inference  entropy  information-theory  kullback-leibler  compression 

Я вивчаю класифікаційні та регресійні дерева, і одним із заходів щодо місця розбиття є оцінка GINI. Зараз я звик визначати найкраще розділене місце, коли журнал коефіцієнта ймовірності одних і тих же даних між двома розподілами дорівнює нулю, тобто ймовірність членства однаково вірогідна. Моя інтуїція говорить про те, що повинен бути …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Чи може хтось довести наступний зв’язок між метрикою інформації Фішера та відносною ентропією (або розбіжністю KL) чисто математично суворим способом? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) де a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log …

20 mathematical-statistics  kullback-leibler  fisher-information 

Розглянемо наступні два розподіли ймовірностей P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Я підрахував розбіжність -Лейблера, яка дорівнює , я хочу взагалі знати, що мені показує це число? Взагалі, розбіжність Куллбека-Лейблера показує мені, наскільки далеко один розподіл …

18 interpretation  information-theory  kullback-leibler 

Чому дивергенція KL є негативною? З точки зору теорії інформації, я маю таке інтуїтивне розуміння: Скажімо, є два ансамблі AAA і BBB які складаються з одного набору елементів, позначених xxx . p(x)p(x)p(x) і q(x)q(x)q(x) - різні розподіли ймовірностей щодо ансамблів AAA і BBB відповідно. З точки зору теорії інформації, являє …

18 information-theory  kullback-leibler 

Вибираючи параметризацію розподілу гами Γ(b,c)Γ(b,c)\Gamma(b,c) за допомогою pdf g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} Розбіжність Куллбека-Лейблера міжΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)іΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)задається [1], як KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Я здогадуюсь, що -функція digamma. Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) Це дано без …

15 kullback-leibler  gamma-distribution  exponential-family