Статистика та великі дані information-theory

Інтуїція про спільну ентропію

У мене виникають проблеми зі створенням інтуїції щодо спільної ентропії. Н( X, Y)H(X,Y)H(X,Y) = невизначеність у спільному розподілі р ( х , у)p(x,y)p(x,y); Н( X)H(X)H(X) = невизначеність в pх( х )px(x)p_x(x); Н( Y)H(Y)H(Y) = невизначеність в pу( у)py(y)p_y(y). Якщо H (X) високий, то розподіл є більш невизначеним, і якщо ви …

9 information-theory mutual-information

Як порівняти спостережувані та очікувані події?

Припустимо, у мене є один зразок частоти 4 можливих подій: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 і я маю очікувані ймовірності моїх подій: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 За допомогою суми спостережуваних частот моїх чотирьох подій (18) …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

Запитання з тегом «information-theory»