Статистика та великі дані

Я студентка психології, і, як я все більше і більше займаюся незалежними дослідженнями статистики, все більше вражаю неадекватність моєї формальної підготовки. Як особистий досвід, так і досвід другого боку свідчить про те, що нестабільність статистичної суворості в бакалаврській та випускній підготовці є досить всюдисущою в психології. Тому я вважав, що …

227 fallacy 

AIC і BIC - це обидва методи оцінки відповідності моделі, що штрафується за кількістю оцінюваних параметрів. Наскільки я розумію, BIC карає моделі більше за вільні параметри, ніж AIC. Крім переваг, що ґрунтуються на строгості критеріїв, чи є інші причини віддати перевагу AIC перед BIC або навпаки?

222 modeling  aic  cross-validation  bic  model-selection 

Тренуючи нейронну мережу, яку різницю має встановити: розмір партії до і кількість повторень bаaaбbb порівняно з розміром партії до та кількістю повторень dcccгdd де ?a b = c dab=cd ab = cd Інакше кажучи, припускаючи, що ми навчаємо нейронну мережу з однаковою кількістю прикладів тренувань, як встановити оптимальний розмір партії …

221 neural-networks  train 

Схоже, що ряд статистичних пакетів, які я використовую, поєднує ці два поняття разом. Однак мені цікаво, чи існують різні припущення чи "формальності" даних, які повинні бути правдивими, щоб використовувати одне за іншим. Справжній приклад був би неймовірно корисним.

214 pca  factor-analysis 

Яка різниця між обробкою даних, статистикою, машинним навчанням та ШІ? Чи було б точно сказати, що це 4 поля, які намагаються вирішити дуже схожі проблеми, але з різними підходами? Що саме вони мають спільне і чим вони відрізняються? Якщо між ними існує якась ієрархія, що це було б? Подібні запитання …

208 machine-learning  data-mining 

Уявіть стандартний сценарій машинного навчання: Ви стикаєтесь з великим багатофакторним набором даних і маєте досить розмите розуміння цього. Що вам потрібно зробити, це зробити передбачення щодо якоїсь змінної на основі того, що у вас є. Як завжди, ви очищаєте дані, переглядаєте описову статистику, запускаєте деякі моделі, перехресне підтверджуєте їх тощо, …

207 machine-learning  forecasting  modeling  model-selection  forecastability 

... припускаючи, що я в змозі інтуїтивно збільшити свої знання про дисперсію ( розуміння "дисперсії" ) або кажучи: це середня відстань значень даних від "середнього" - а оскільки дисперсія знаходиться у квадраті одиниць, беремо квадратний корінь, щоб зберегти одиниці однакові, і це називається стандартним відхиленням. Припустимо, що це багато сформульовано …

207 variance  covariance  intuition 

Отже, маємо середнє арифметичне (AM), середнє геометричне (GM) і середнє гармонічне (HM). Їх математичне формулювання також добре відоме разом із пов’язаними з ними стереотипними прикладами (наприклад, середнє значення гармонії та його застосування для проблем, пов'язаних із швидкістю). Однак питання, яке мене завжди заінтригувало, - це "як я вирішую, яке значення …

197 mean 

Я хотів би реалізувати алгоритм автоматичного вибору моделі. Я думаю про поступову регресію, але все, що буде робити (він повинен базуватися на лінійних регресіях). Моя проблема полягає в тому, що я не в змозі знайти методологію чи реалізацію з відкритим кодом (я прокидаюся в Java). Я маю на увазі методологію: …

193 references  feature-selection  model-selection  aic  stepwise-regression 

Який найкращий вступний підручник для байєсівської статистики? Будь ласка, одна книга за відповідь.

192 bayesian  references 

Якщо у мене є дуже перекошені позитивні дані, я часто беру журнали. Але що мені робити із сильно перекривленими негативними даними, що включають нулі? Я бачив дві трансформації: який має чітку функцію, яка 0 відображає до 0.журнал( х + 1 )log⁡(x+1)\log(x+1) де c оцінюється або встановлюється як дуже невелике додатне …

191 data-transformation  large-data 

Я впевнений, що багато людей відгукнуться посиланнями на тему "дозвольте мені погуглювати це для вас", тому я хочу сказати, що я намагався розібратися в цьому, тож, пробачте, пробачте моє нерозуміння тут, але я не можу зрозуміти, як практична реалізація нейронної мережі насправді працює. Я розумію вхідний шар і як нормалізувати …

187 machine-learning  neural-networks  nonlinear-regression 

У мене є такий кадр даних R: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Мені потрібно отримати кадр даних у такій формі: group mean …

181 r  data-transformation 

Нещодавно закінчивши докторську програму зі статистики, я останні пару місяців почав шукати роботу в галузі статистики. Майже в кожній компанії, яку я вважав, була посада з посадою « Науковець даних ». Насправді, здавалося, давно минули дні побачень звань посади вченого- статистика чи статистика . Якби науковець даних дійсно замінив те, …

181 terminology  definition  careers 

Я використовую Python Keras packageдля нейронної мережі. Це посилання . Чи batch_sizeдорівнює кількості тестових зразків? З Вікіпедії ми маємо цю інформацію: Однак в інших випадках для оцінки градієнта суми можуть знадобитися дорогі оцінки градієнтів з усіх функцій підсумовування. Коли навчальний набір величезний і не існує простих формул, оцінка сум градієнтів …

174 neural-networks  python  terminology  keras