Статистика та великі дані

Я намагаюся перевірити здатність випадкових лісів класифікувати вибірки між 2 групами; Для класифікації використовується 54 зразки та різна кількість змінних. Мені було цікаво, чому підрахунки "OOB" можуть змінюватись на 5% один від одного, навіть коли я використовую дерева з 50 кб? Це щось, у чому може допомогти завантажувальна програма?

10 machine-learning  random-forest 

Нещодавно я був на кількох переговорах зі статистикою щодо Лассо (регуляризація), і ми говоримо про те, що ми не дуже розуміємо, чому працює Лассо або чому він працює так добре. Мені цікаво, на що йдеться в цьому твердженні. Очевидно, я розумію, чому Лассо працює технічно, запобігаючи надмірному оснащенню за рахунок …

10 machine-learning  lasso  regularization 

Я намагаюся використовувати регресію РФ для прогнозування ефективності роботи паперового комбінату. Я маю дані за хвилиною за хвилиною для вхідних даних (швидкість і кількість деревної маси, що надходить в т. Д.), А також про продуктивність машини (виготовлений папір, потужність, намальована машиною), і я хочу зробити прогнози 10 хвилин вперед щодо …

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

Обговорюючи рівень виконання завдань, чи є спосіб показати, що 0 з 20 спроб "гірше", ніж 0 з 10 спроб?

10 probability  sampling 

Я стежу за підручником із журналу Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Підручник використовує tf.train.Optimizer.minimize(конкретно tf.train.GradientDescentOptimizer). Я не бачу жодних аргументів, щоб передаватись ніде для визначення градієнтів. Чи потік тензорів використовує цифрову диференціацію за замовчуванням? Чи є спосіб пройти в градієнтах, як ви можете scipy.optimize.minimize?

10 python  optimization  tensorflow 

Я бачив це позначення для звичайних найменших квадратів тут . minw∥Xw−y∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 Я ніколи не бачив подвійних брусків і 2 внизу. Що означають ці символи? Чи є для них конкретна термінологія?

10 regression  least-squares  linear-model  linear-algebra  notation 

Я програмую і займаюся тестовими розробками. Після того, як я змінив код, я запускаю свої тести. Іноді вони досягають успіху, а іноді - невдачі. Перед тим, як запустити тест, я записую число від 0,01 до 0,99, щоб переконатися, що тест буде успішним. Хочу знати, чи вдосконалююсь я передбачуючи, чи вдасться …

10 forecasting  decision-theory  calibration  scoring-rules 

Я працюю в мережі згортки для розпізнавання зображень, і мені було цікаво, чи можу я вводити зображення різного розміру (хоча не дуже різного). Про цей проект: https://github.com/harvardnlp/im2markup Вони кажуть: and group images of similar sizes to facilitate batching Тож навіть після попередньої обробки зображення все ще мають різні розміри, що …

10 neural-networks  conv-neural-network  computer-vision 

Після деякої дискусії (нижче) у мене зараз чіткіше уявлення про цілеспрямоване питання, тому ось переглянуте питання, хоча деякі коментарі можуть здатися непов'язаними з початковим запитанням. Здається, що t-тести швидко сходяться для симетричних розподілів , що підписаний ранг передбачає симетрію , а для симетричного розподілу немає різниці між засобами / псевдомедіанами …

10 hypothesis-testing  t-test  paired-data  wilcoxon-signed-rank  sign-test 

У курсі машинного навчання Ендрю Нг він використовує цю формулу: ∇Аt r ( A B AТС) = СA B + CТА БТ∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T і він робить швидкий доказ, який показано нижче: ∇Аt r ( A B AТС)= ∇Аt r ( f( А ) АТС)= ∇∘t r …

10 machine-learning  matrix  derivative 

Розглянемо таку модель множинної регресії:Y=Xβ+Zδ+U.(1)(1)Y=Xβ+Zδ+U.Y=X\beta+Z\delta+U.\tag{1} Тут - вектор стовпця ; a матриця; a вектор стовпця; a матриця; a вектор стовпця; і , термін помилки, вектор стовпців .YYYn×1n×1n\times 1XXXn×(k+1)n×(k+1)n\times (k+1)ββ\beta(k+1)×1(k+1)×1(k+1)\times 1ZZZn×ln×ln\times lδδ\deltal×1l×1l\times 1UUUn×1n×1n\times1 ПИТАННЯ Мій лектор, підручник « Вступ до економетрії», 3-е видання. Джеймс Х. Сток і Марк У. Уотсон, с. …

10 regression  multiple-regression  econometrics  least-squares  nonlinear-regression 

Скажімо, у нас є упорядкований список предметів [a, b, c, ... x, y, z, ...] Я шукаю сімейство дистрибутивів із підтримкою в списку вище, яким керується деякий параметр альфа, так що: Для альфа = 0 він призначає ймовірності 1 першому пункту, a вище, а 0 іншому. Тобто, якщо ми зразок …

10 distributions  sampling  discrete-data 

Це просто агрегація точок даних? Або це представлення точок даних для різних елементів у табличному форматі, розташованому зі значеннями різних змінних? Чим він відрізняється від необроблених даних?

10 dataset  terminology  definition 

Я зацікавлений в лікувально-коваріат взаємодій в контексті експериментів / рандомізованих контрольованих досліджень, з бінарним призначення лікування індикатора .TTT Залежно від конкретного методу / джерела, я бачив і і для оброблених та необроблених суб'єктів відповідно.T={1,0}T={1,0}T=\{1,0\}T={1,−1}T={1,−1}T=\{1, -1\} Чи є якесь правило, коли використовувати або ?{1,0}{1,0}\{1,0\}{1,−1}{1,−1}\{1, -1\} Чим інтерпретація відрізняється?

10 binary-data  categorical-encoding 

[Аналогічне питання було поставлене тут , без відповідей] Мені підходить модель логістичної регресії з регуляризацією L1 (логістична регресія Лассо), і я хотів би перевірити встановлені коефіцієнти на значущість та отримати їхні p-значення. Я знаю, що тести Уолда (наприклад) - це можливість перевірити значущість окремих коефіцієнтів у повній регресії без регуляризації, …

10 logistic  statistical-significance  regression-coefficients  lasso