Запитання з тегом «entropy»

Одне з важливих питань, з яким стикаються синоптики, - чи можна прогнозувати дану серію чи ні? Я натрапив на статтю " Ентропія як первісний показник передбачуваності " Пітера Катта, яка використовує приблизну ентропію (ApEn) як відносну міру для визначення певного часового ряду. У статті йдеться про: "Менші значення ApEn вказують …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Намагаючись зрозуміти взаємозв'язок між перехресною ентропією та недоумінням. Загалом для моделі M , Perplexity (M) = 2 ^ ентропія (M) . Чи стосується ця залежність для всіх різних n-грамів, тобто уніграма, біграми тощо?

10 natural-language  entropy  perplexity 

Я зауважив, що Caffe (глибока рамка навчання) використовувала рівень втрат Softmax SoftmaxWithLoss як вихідний шар для більшості зразків моделі . Наскільки мені відомо, рівень втрати Softmax - це поєднання багатошарового логістичного рівня втрат та шару Softmax . З Кафе вони сказали це Розрахунок градієнта рівня втрат Softmax втрат більш чисельно …

9 multinomial  entropy  sums-of-squares  softmax 

Я намагаюся зрозуміти нормалізовану форму точкової взаємної інформації. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Чому ймовірність спільного журналу нормалізує точкову взаємну інформацію між [-1, 1]? Точна взаємна інформація: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) обмежений [0, 1], тому журнал (p (x, y)) обмежений (, 0]. Схоже, що журнал (p (x, y)) повинен якось …

9 entropy  information-theory  mutual-information 

Коротке запитання: Чому це правда ?? Довге запитання: Дуже просто, я намагаюся з'ясувати, що виправдовує це перше рівняння. Автор книги, яку я читаю, (контекст тут, якщо ви цього хочете, але не потрібно), стверджує таке: Зважаючи на припущення про майже-гауссованість, ми можемо написати: p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ))p0(ξ)=Аϕ(ξ)ехp(ан+1ξ+(ан+2+12)ξ2+∑i=1наiГi(ξ)) p_0(\xi) = A \; \phi(\xi) \; exp( …

9 probability  normal-distribution  entropy  maximum-entropy 

Отже, у мене є 16 випробувань, в яких я намагаюся ідентифікувати людину з біометричної ознаки за допомогою дистанції Hamming. Мій поріг встановлено на 3,5. Мої дані нижче, і лише пробна версія 1 - справжнє Позитивне: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Привітання, В даний час я роблю наступне в R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Фрагмент резюме.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 …

9 r  time-series  data-visualization  entropy