Статистика та великі дані

Я знаю, що це, ймовірно, обговорювалося десь ще, але я не змогла знайти чіткої відповіді. Я намагаюся використовувати формулуR2=1−SSR/SSTR2=1−SSR/SSTR^2 = 1 - SSR/SST для розрахунку поза вибіркою R2R2R^2 лінійної регресійної моделі, де SSRSSRSSR - сума квадратних залишків і SSTSSTSST- загальна сума квадратів. Для навчального набору зрозуміло, що SST=Σ(y−y¯train)2SST=Σ(y−y¯train)2 SST = …

10 regression  machine-learning  r-squared  out-of-sample 

Скажімо, у мене є деяка архітектура моделі глибокого вивчення, а також вибраний розмір міні-партії. Як я випливаю з цих очікуваних вимог пам'яті для навчання цій моделі? Як приклад, розглянемо (не повторювана) модель із введенням розмірності 1000, 4 повністю пов'язаних прихованих шарів розміром 100 та додатковим вихідним шаром розмірності 10. Розмір …

10 deep-learning 

Проблема, з якою я маю справу, - передбачення значень часових рядів. Я переглядаю по одному часовому ряду і, базуючись, наприклад, на 15% вхідних даних, я хотів би передбачити його майбутні значення. Поки що я натрапив на дві моделі: LSTM (довготривала короткочасова пам'ять; клас періодичних нейронних мереж) АРІМА Я спробував обидва …

10 time-series  forecasting  references  arima  lstm 

Гаразд - моє оригінальне повідомлення не вдалося отримати відповідь; так, дозвольте мені поставити питання по-іншому. Почну з пояснення свого розуміння оцінки з теоретичної точки зору рішення. Я не маю жодної формальної підготовки, і це не здивувало б мене, якщо моє мислення якимось чином має помилки. Припустимо, у нас є деяка …

10 bias  loss-functions  frequentist  decision-theory  risk 

Я хочу перевірити деякі свої ідеї, які, на мою думку, кращі за все, що я бачив. Я можу помилятися, але я хотів би перевірити свої ідеї і перемогти свої сумніви більш певними спостереженнями. Що я думав зробити, це наступне: Аналітично визначте набір розподілів. Деякі з них є такими легкими, як …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

В даний час я працюю над проектом з прогнозування даних часових рядів (щомісячні дані). Я використовую R для прогнозування. У мене є 1 залежна змінна (y) і 3 незалежні змінні (x1, x2, x3). Змінна y має 73 спостереження, так само, як і інші 3 змінні (alos 73). З січня 2009 …

10 time-series  multiple-regression  forecasting  lags 

В основному я хочу перетворити заходи подібності у ваги, які використовуються як предиктори. Подібність буде на [0,1], і я обмежу ваги також на [0,1]. Мені б хотілося, щоб параметрична функція робила це відображення, яке я, швидше за все, оптимізую за допомогою градієнтного спуску. Вимоги полягають у тому, що 0 карт …

10 optimization  curve-fitting 

Коли ми можемо диференціювати функцію витрат і знайти параметри, розв’язавши рівняння, отримані шляхом часткової диференціації стосовно кожного параметра, і з'ясувати, де функція витрат мінімальна. Крім того, я думаю, що можливо знайти декілька місць, де похідні дорівнюють нулю, таким чином ми можемо перевірити всі такі місця і можемо знайти глобальні мінімуми …

10 machine-learning  computational-statistics 

У кількох змаганнях з кубків бал базувався на "логлосі". Це стосується помилки класифікації. Ось технічна відповідь, але я шукаю інтуїтивну відповідь. Мені дуже сподобалися відповіді на це запитання про відстань махаланобіс, але PCA - це не логос. Я можу використовувати значення, яке видає моє програмне забезпечення для класифікації, але я …

10 interpretation  intuition  loss-functions 

Як ви інтерпретуєте коефіцієнт зворотного відношення Міллса (лямбда) у двоступеневій моделі Гекмана ?

10 econometrics  heckman  selection-bias 

Чи "студизовані залишки" та "стандартизовані залишки" однакові у регресійних моделях? Я побудував модель лінійної регресії в R і хотів побудувати графік встановлених значень Studentized залишків v / s, але не знайшов автоматизованого способу зробити це в Р. Припустимо, у мене є модель library(MASS) lm.fit <- lm(Boston$medv~(Boston$lstat)) то використання plot(lm.fit)не дає …

10 r  regression  residuals  terminology 

Чи не міг би хтось простим чином пояснити мені, що таке ізотропна матриця коваріації? Я нічого не можу знайти в Інтернеті.

10 terminology  covariance-matrix  definition 

Ситуація: дві птиці (самець і самка) захищають свої яйця в гнізді від зловмисника. Кожна птах може використовувати або захист від нападу, або загрозу, і бути присутнім або відсутнім. З даних випливає закономірність, що поведінка може бути взаємодоповнюючим - напади чоловіків, тоді як жінки використовують загрозу і навпаки. Моє запитання: як …

10 r  sequence-analysis 

Як виконати негативну регресію хребта? Негативне ласо доступне в scikit-learn, але для хребта я не можу застосувати бенегативність бета, і я дійсно отримую негативні коефіцієнти. Хтось знає, чому це? Крім того, чи можу я реалізувати хребет з точки зору регулярних найменших квадратів? Перенесли це на інше запитання: чи можна реалізувати …

10 regression  lasso  regularization  ridge-regression 

Я дізнаюся про глибоке навчання (зокрема, CNN), а також про те, як зазвичай вимагає дуже багато даних для запобігання надмірного розміщення. Однак мені також сказали, що чим більша ємність / більше параметрів має модель, тим більше даних потрібно для запобігання надмірного розміщення. Тому моє запитання: чому ви можете не просто …

10 machine-learning  neural-networks  deep-learning  conv-neural-network