Статистика та великі дані

EDIT: Мене більше цікавлять технічні питання та методологія визначення ймовірності "справжнього" максимуму в даній сукупності за даними вибіркової статистики. Існують проблеми з оцінкою ймовірності швидших бігунів, ніж містер Болт, з рекордно-різного часу тире, який є однозначним і тонким. Наполохайте мене, уявляючи, що це не так. Юсейн Болт - це найшвидший …

12 normal-distribution  maximum 

У мене є графік розсіяння, розмір вибірки якого дорівнює кількості людей по осі х і медіанна зарплата по осі y, я намагаюся з'ясувати, чи впливає розмір вибірки на медіану зарплати. Це сюжет: Як я інтерпретую цей сюжет?

12 data-visualization  median  scatterplot  pandas 

Як побудувати приклад розподілу ймовірностей, для якого , припускаючи ?E(1X)=1E(X)E(1X)=1E(X)\mathbb{E}\left(\frac{1}{X}\right)=\frac{1}{\mathbb{E}(X)}P(X≠0)=1P(X≠0)=1\mathbb{P}(X\ne0)=1 Нерівність , яке випливає з нерівності Йєнсена для позитивного багатозначних RV , як (зворотна нерівність, якщо ). Це тому, що відображення опукло для і увігнуте для . Виходячи з умови рівності в нерівності Дженсена, я думаю, розподіл повинен бути виродженим, …

12 probability  distributions  random-variable  expected-value 

Змагання з Kaggle визначають остаточний рейтинг на основі проведеного тестового набору. Проведений тестовий набір - зразок; він може не репрезентувати населення, яке моделюється. Оскільки кожне подання схоже на гіпотезу, алгоритм, який виграв змагання, може, як правило, збігатися з тестовим набором краще, ніж інші. Іншими словами, якби обраний інший тестовий набір …

12 machine-learning  probability  hypothesis-testing  sample  kaggle 

Існує кілька публікацій про те, як вибрати функції. Один із методів описує важливість функції на основі t-статистики. У R, varImp(model)застосованому на лінійній моделі зі стандартизованими ознаками, використовується абсолютне значення t-статистики для кожного параметра моделі. Таким чином, ми в основному вибираємо особливість на основі її t-статистики, тобто наскільки точним є коефіцієнт. …

12 regression  p-value  feature-selection 

У мене траєкторія об'єкта у двомірному просторі (поверхні). Траєкторія задається у вигляді послідовності (x,y)координат. Я знаю, що мої вимірювання шумні, і іноді я маю очевидні люди. Отже, я хочу відфільтрувати свої спостереження. Наскільки я зрозумів фільтр Кальмана, він робить саме те, що мені потрібно. Отже, я намагаюся ним скористатися. Я …

12 python  kalman-filter  smoothing 

Який найкращий спосіб пояснити, чому , наприклад, не є хорошим показником порівняно з F1?Precision+RecallPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall 

В R у мене є вибірка з 348 заходів, і я хочу знати, чи можу я вважати, що вона зазвичай розподіляється для майбутніх тестів. По суті, після іншої відповіді стека , я дивлюся на графік щільності та графік QQ з: plot(density(Clinical$cancer_age)) qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2) Я не маю сильного досвіду …

12 r  normal-distribution 

Під час курсу машинного навчання я дізнався, що одне поширене використання PCA ( Principal Component Analysis ) - це прискорити інші алгоритми машинного навчання. Наприклад, уявіть, що ви тренуєте логістичну модель регресії. Якщо у вас є навчальний набір для i від 1 до n, і виявляється, що розмір вашого вектора …

12 machine-learning  pca 

У статті, що представляє DQN " Гра в Атарі з глибоким зміцненням навчання ", вона згадувала: Зауважте, що при навчанні за допомогою перегляду досвіду необхідно вчитися поза політикою (оскільки наші поточні параметри відрізняються від тих, які використовуються для створення вибірки), що мотивує вибір Q-навчання. Я не зовсім зрозумів, що це …

12 reinforcement-learning 

Я вивчав лінійну регресію і спробував її на нижньому наборі {(x, y)}, де x вказав площу будинку в квадратних футах, а y вказав ціну в доларах. Це перший приклад у Ендрю Нґ Нотатки . 2104,400 1600,330 2400,369 1416,232 3000,540 Я розробив зразок коду, але коли я його запускаю, вартість збільшується …

12 regression  least-squares  gradient-descent  supervised-learning 

аргхвшL ( w ) = ∑нi = 1| уi- шТх |арг⁡хвшL(ш)=∑i=1н|уi-шТх| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| хв ∑нi = 1уiхв∑i=1нуi\min \sum_{i=1}^{n}u_{i} уi≥ xТш - уii = 1 , … , nуi≥хТш-уii=1,…,нu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n уi≥ - ( хТш - уi)i = 1 , … , nуi≥-(хТш-уi)i=1,…,нu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

Ці слова я все більше і більше чую, коли вивчаю машинне навчання. Насправді деякі люди виграли медаль Філдса, працюючи над закономірностями рівнянь. Отже, я думаю, що це термін, який переносить себе від статистичної фізики / математики до машинного навчання. Звичайно, кількість людей, яких я запитувала, просто не могла інтуїтивно пояснити …

12 machine-learning  self-study  terminology  regularization  definition 

Розглянемо експеримент, який виводить співвідношення між 0 і 1. Отримання цього співвідношення не повинно бути доречним у цьому контексті. Це було розроблено в попередній версії цього питання , але для ясності було видалено після обговорення мета .XiXiX_i Цей експеримент повторюється разів, тоді як n малий (приблизно 3-10). X_i передбачаються незалежними …

12 confidence-interval 

У своїй книзі Doing Bayesian Analysis Data, John Kruschke зазначає, що при використанні JAGS від R ... оцінка режиму з зразка MCMC може бути досить нестабільною, оскільки оцінка базується на алгоритмі згладжування, який може бути чутливим до випадкових ударів та пульсацій у зразку MCMC. ( Проведення Байєсівського аналізу даних , …

12 bayesian  mcmc  mode