Запитання з тегом «kullback-leibler»

Я використовую KL Розбіжність в якості запобіжного несходства між 2 і .P Qp . м . f.p.м.f.p.m.f. ППPQQQ =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DКL( С|| Q)= ∑i = 1Nln( СiQi) ПiDКL(П||Q)=∑i=1Nln⁡(ПiQi)ПiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i = - ∑ Р( Xi) l n ( Q ( X)i) ) + ∑ Р( Xi) l …

15 distributions  distance  kullback-leibler 

Я буду використовувати розбіжність KL в коді python, і я отримав цей підручник . У цьому підручнику реалізувати розбіжність KL досить просто. kl = (model * np.log(model/actual)).sum() Як я розумію, розподіл ймовірностей modelі actualповинен бути <= 1. Моє запитання, яке максимальне обмежене / максимально можливе значення k ?. Мені потрібно …

15 machine-learning  distance  kullback-leibler 

Я порівнюю два розподіли з дивергенцією KL, що повертає мені нестандартне число, яке, відповідно до того, що я читав про цей захід, є кількістю інформації, необхідної для перетворення однієї гіпотези в іншу. У мене є два питання: a) Чи існує спосіб кількісної оцінки розбіжності KL, щоб вона мала більш змістовну …

14 distributions  kullback-leibler  information-geometry 

Я знаю, що Дивергенція KL не є симетричною і її не можна чітко розглядати як метрику. Якщо так, то чому він використовується, коли JS Divergence задовольняє необхідні властивості для метрики? Чи існують сценарії, коли можна використовувати дивергенцію KL, але не JS Divergence чи навпаки?

14 probability  distributions  kullback-leibler  metric 

Якщо - розподіл ймовірності з ненульовими значеннями на , для якого типу (s) існує константа така, що для всіх ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20<ϵ<10<ϵ<10\lt\epsilon\lt 1 Нерівність, наведена вище, насправді є дивергенцією Кулбека-Лейблера між розподілом та стислим його варіантом . Я з’ясував, що ця нерівність стосується розподілів експоненціальної, гамма та …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Я не математик. Я шукав в Інтернеті про KL Divergence. Що я дізнався - це розбіжність KL вимірює втрачену інформацію, коли ми наближаємо розподіл моделі відносно вхідного розподілу. Я бачив це між будь-якими двома безперервними або дискретними розподілами. Чи можемо ми зробити це між безперервним та дискретним чи навпаки?

12 distributions  mathematical-statistics  kullback-leibler 

Я бачив в деяких моментах використання похідної Радона-Нікодима однієї міри ймовірності відносно іншої, особливо це стосується розбіжності Куллбека-Лейблера, де це похідна від міри ймовірності моделі для якогось довільного параметра щодо реального параметра :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Де ці обидві міри ймовірності на просторі точок даних, що залежать від значення параметра: .Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

У mgcvпакеті Rє дві функції для встановлення тензорних взаємодій між продуктами: te()і ti(). Я розумію основний розподіл праці між двома (встановлення нелінійної взаємодії проти декомпозиції цієї взаємодії на основні ефекти та взаємодію). Чого я не розумію, це чому te(x1, x2)і ti(x1) + ti(x2) + ti(x1, x2)може давати (трохи) різні результати. …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Я запускаю швидке моделювання для порівняння різних методів кластеризації, і в даний час натиснув на корч, намагаючись оцінити кластерні рішення. Я знаю різні показники перевірки (багато з них знайдені у cluster.stats () в R), але я припускаю, що їх найкраще використовувати, якщо орієнтовна кількість кластерів насправді дорівнює дійсній кількості кластерів. …

11 clustering  kullback-leibler  gaussian-mixture 

Я намагався реалізувати числову оцінку дивергенції Куллбека-Лейблера для двох зразків. Для налагодження реалізації намалюйте вибірки з двох нормальних розподілів та .N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Для простої оцінки я створив дві гістограми і спробував числово наблизити інтеграл. Я застряг в обробці тих частин гістограми, де бункери однієї гістограми дорівнюють нулю, …

10 estimation  intuition  kullback-leibler  numerics 

У мене є три набори даних X, Y і Z. Кожен набір даних визначає частоту події, що відбувається. Наприклад: Набір даних X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 тощо. Набір даних Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 …

10 kullback-leibler 

У своєму дослідженні я зіткнувся з такою загальною проблемою: у мене є два розподіли і по одному домену і велика (але кінцева) кількість вибірок з цих розподілів. Зразки незалежно та однаково розподіляються з одного з цих двох розподілів (хоча розподіли можуть бути пов’язані між собою: наприклад, може бути сумішшю та …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Я впроваджував VAE і помітив в Інтернеті дві різні реалізації спрощеної універсальної гауссової дивергенції KL. Оригінальна розбіжність, як тут, є КLl o s s= журнал(σ2σ1) +σ21+ (мк1-мк2)22σ22-12КLлосс=журнал⁡(σ2σ1)+σ12+(мк1-мк2)22σ22-12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} Якщо припустити, що наша попередня - це одиниця гаусса, тобто мк2= 0мк2=0\mu_2=0 і σ2= 1σ2=1\sigma_2=1, це спрощує вниз до КLl o s …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Я хочу оцінити розбіжність KL між двома безперервними розподілами f і g. Однак я не можу записати щільність ні для f, ні для g. Я можу зробити вибірку з f та g за допомогою якогось методу (наприклад, markov chain monte carlo). Розбіжність KL від f до g визначається так DKL(f||g)=∫∞−∞f(x)log(f(x)g(x))dxDKL(f||g)=∫−∞∞f(x)log⁡(f(x)g(x))dxD_{KL}(f …

10 kullback-leibler 

Це лише приклад, на який я зустрічався кілька разів, тому у мене немає даних про вибірку. Запуск лінійної регресійної моделі в R: a.lm = lm(Y ~ x1 + x2) x1є суцільною змінною. x2категоричний і має три значення, наприклад "Низький", "Середній" та "Високий". Однак вихід, отриманий R, був би на кшталт: …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction