Статистика та великі дані

Я маю на увазі побудувати модель, яка передбачає співвідношення , де a ≤ b і a > 0 і b > 0 . Отже, співвідношення було б між 0 і 1 .а / бa/ba/ba ≤ ba≤ba \le ba > 0a>0a > 0b > 0b>0b > 0000111 Я міг би використовувати …

42 regression  logistic  generalized-linear-model  beta-distribution  beta-regression 

Я зіткнувся з недоумінням терміна, який відноситься до усередненої в журналі зворотної ймовірності на небачені дані. Стаття у Вікіпедії про недоумкування не надає інтуїтивного значення для того ж. Ця міра невдоволення була використана в папері pLSA . Чи може хтось пояснити необхідність та інтуїтивне значення міри здивування ?

42 measurement  perplexity 

Я виявив, що Imagenet та інші великі CNN використовують локальні шари нормалізації відповіді. Однак я не можу знайти про них стільки інформації. Наскільки вони важливі і коли їх слід використовувати? З http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "Рівень нормалізації локальної відповіді виконує своєрідне" бічне гальмування "шляхом нормалізації над локальними вхідними регіонами. У режимі ACROSS_CHANNELS …

41 deep-learning  convolution  conv-neural-network 

Подивіться на цей уривок із „Посібника з навичок вивчення”, Palgrave, 2012, Стелла Коттрелл, сторінка 155: Відсотки Зауважте, коли вказані відсотки. Припустимо, замість цього, заява вище: 60% людей вважали за краще апельсини; 40% сказали, що віддають перевагу яблукам. Це виглядає переконливо: Числові величини наведені. Але чи істотна різниця між 60% і …

41 statistical-significance  sample-size  percentage 

Мені відомо, що це запитання було задано мільярд разів, тому, переглянувши Інтернет, я повністю переконаний, що співвідношення між двома змінними не означає причинності. В одній із моїх сьогоднішніх лекцій зі статистики ми провели гостьову лекцію фізика про важливість статистичних методів у фізиці. Він сказав вражаюче твердження: кореляція не означає причинно-наслідкового …

41 correlation  mathematical-statistics  causality 

Нещодавно у мене з товаришем була незгода щодо мінімізації шансу загинути в літаку через аварію. Це питання рудиментарної статистики. Він заявив, що вважає за краще літати безпосередньо до пункту призначення, оскільки це зменшує ймовірність того, що він загине при катастрофі літака. Його логіка полягала в тому, що якщо ймовірність аварії …

41 independence  transportation 

Момент використовується для зменшення коливань змін ваги протягом послідовних ітерацій:αα\alpha Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), де - функція помилки, - вектор ваг, - швидкість навчання.E(w)E(w)E({\bf w})ww{\bf w}ηη\eta Зниження ваги карає зміни ваги:λλ\lambda Δωi(t+1)=−η∂E∂wi−ληωiΔωi(t+1)=−η∂E∂wi−ληωi\Delta\omega_i(t+1) =- \eta\frac{\partial E}{\partial w_i} - \lambda\eta\omega_i Питання полягає в тому, чи є …

41 neural-networks  optimization  regularization  gradient-descent 

Чи різні програми Pandas, Statsmodels та Scikit вчаться в машинному навчанні / статистичних операціях, або вони доповнюють одна одну? Який із них має найповніший функціонал? Який із них активно розробляється та / або підтримується? Я маю здійснити логістичну регресію. Будь-які пропозиції щодо того, який із них я повинен використовувати?

41 machine-learning  python  scikit-learn  statsmodels  pandas 

EDIT 2: Спочатку я вважав, що мені потрібно запустити двофакторну ANOVA з повторними заходами по одному фактору, але зараз думаю, що лінійна модель зі змішаним ефектом краще працюватиме для моїх даних. Думаю, я майже знаю, що має відбутися, але мене все ще бентежить декілька моментів. Експерименти, які мені потрібно аналізувати, …

41 r  anova  mixed-model  repeated-measures  lme4-nlme 

Чи є якісь ігри, які змушують гравця "думати як статистик"? Наприклад, лайтбот змушує вас «думати як програміст» (дуже принципово). Чи є якісь ігри, розроблені для розваг чи навчання, які можуть допомогти вам комфортно використовувати базові поняття, такі як співвідношення, p-значення, найменші квадрати, дисперсія, різні види розподілу ймовірностей, регресія до середнього …

41 teaching  games  application 

Я щойно грав у гру з моїми дітьми, яка в основному зводиться до того: хто хоч раз перекочує кожне число на 6-сторонній матриці, той виграє. Я виграв, врешті-решт, а інші закінчили на 1-2 витки пізніше. Тепер мені цікаво: яке очікування тривалості гри? Я знаю, що очікування кількості рулонів, поки ви …

41 probability  dice  coupon-collector-problem 

(Це засновано на питанні, яке щойно прийшло до мене електронною поштою; я додав деякий контекст із попередньої короткої розмови з тією ж людиною.) Минулого року мені сказали, що гамма-розподіл важчий, ніж логічний, і з тих пір мені сказали, що це не так. Що є більш важким хвостом? Які ресурси я …

41 distributions  gamma-distribution  lognormal  heavy-tailed 

Я збираюся випробувати середовище стилю BUGS для оцінки байесівських моделей. Чи є якісь важливі переваги, які слід врахувати при виборі між OpenBugs або JAGS? Чи одна ймовірність замінити іншу в осяжному майбутньому? Я буду використовувати обраний Gibbs Sampler з R. У мене ще немає конкретного додатку, але я швидше вирішую, …

41 r  software  bugs  jags  gibbs 

Чи можете ви запропонувати кілька хороших фільмів, які передбачають математику, ймовірності тощо? Один із прикладів - 21 . Мені також були б цікаві фільми, які включають алгоритми (наприклад, розшифровка тексту). Взагалі "видовищні" фільми з відомими науковими теоріями, але без наукової фантастики чи документальних фільмів. Спасибі заздалегідь!

41 probability  references 

Я бачу, що концепція "обмінності" використовується в різних контекстах (наприклад, байєсівські моделі), але я ніколи не розумів цього терміна дуже добре. Що означає це поняття? За яких обставин використовується ця концепція і чому?

41 bayesian  intuition  exchangeability