Статистика та великі дані

"Нью-Йорк Таймс" довго коментує систему оцінювання "доданої вартості" вчителів, яка використовується для надання відгуків викладачам міста Нью-Йорк. Lede - це рівняння, яке використовується для обчислення балів - подано без контексту. Здається, риторична стратегія - це залякування математикою: Повний текст статті доступний за адресою: http://www.nytimes.com/2011/03/07/education/07winerip.html Автор, Майкл Вінеріп, стверджує, що значення …

24 regression  multilevel-analysis  statistics-in-media 

Спочатку я думав, що порядок не має значення, але потім я прочитав про процес ортогоналізації грам-шмідта для обчислення кількох коефіцієнтів регресії, а тепер у мене є другі думки. Відповідно до процесу грам-шмідта, чим пізніше пояснювальна змінна індексується серед інших змінних, тим менший її залишковий вектор, оскільки від неї віднімаються залишкові …

24 regression  multiple-regression  regression-coefficients 

Я хочу оцінити кількість деяких даних. Дані настільки величезні, що їх неможливо розмістити в пам'яті. Дані не є статичними, нові дані продовжують надходити. Хтось знає який-небудь алгоритм для моніторингу квантових даних, що спостерігалися до цього часу, з дуже обмеженою пам'яттю та обчисленнями? Я вважаю алгоритм P2 корисним, але він не …

24 algorithms  quantiles 

Я маю значення p з багатьох тестів і хотів би знати, чи є насправді щось важливе після виправлення для багаторазового тестування. Ускладнення: мої тести не є незалежними. Метод, про який я думаю (варіант методу продукту Фішера, Зайкін та ін., Genet Epidemiol , 2002), потребує кореляції між значеннями p. Для того, …

24 correlation  multiple-comparisons  statistical-significance  genetics 

Які хороші підручники з економетрики ви б рекомендували? Редагувати: там є досить багато книг, що мають різний рівень математичної витонченості. Було б добре скласти уявлення про те, наскільки технічна книга, яку ви рекомендуєте.

24 econometrics  references 

Чи категоричною є змінна "година дня", де значення може бути 0, 1, 2, ..., 23? Мені б сподобатися сказати "ні", оскільки 5, наприклад, "ближче" до 4 або 6, ніж до 3 або 7. З іншого боку, існує розрив між 23 і 0. Так це взагалі вважається категоричним чи ні? Зауважте, …

24 categorical-data  circular-statistics 

Я хотів би краще зрозуміти, як виведена корекція безперервності до біноміального розподілу для нормального наближення. Який метод був використаний, щоб вирішити, що ми повинні додати 1/2 (чому б не інше число?). Будемо вдячні за будь-яке пояснення (або посилання на запропоноване читання, крім цього ).

24 binomial  asymptotics 

Яке алгебраїчне позначення для обчислення інтервалу передбачення для множинної регресії? Це звучить нерозумно, але у мене виникають проблеми з пошуку чіткого алгебраїчного позначення цього.

24 multiple-regression  least-squares  prediction-interval 

Я намагаюся зрозуміти відмінності між методами зменшення лінійної розмірності (наприклад, PCA) та нелінійними (наприклад, Isomap). Я не можу повністю зрозуміти, що означає (не) лінійність у цьому контексті. Я прочитав з Вікіпедії це Для порівняння, якщо PCA (алгоритм зменшення лінійних розмірностей) використовується для зменшення цього ж набору даних на два виміри, …

24 pca  terminology  dimensionality-reduction  pattern-recognition  manifold-learning 

У Олексія Крижевського та ін. Класифікація Imagenet із глибокими звивистими нейронними мережами вони перераховують кількість нейронів у кожному шарі (див. Схему нижче). Вхід в мережу є 150 528-мірним, а кількість нейронів у решті шарів мережі визначається 253,440–186,624–64,896–64,896–43,264– 4096–4096–1000. 3D-перегляд Кількість нейронів для всіх шарів після першого зрозуміла. Один простий спосіб …

24 neural-networks  deep-learning  conv-neural-network 

Я використовую матрицю плутанини для перевірки працездатності мого класифікатора. Я використовую Scikit-Learn, я трохи розгублений. Як я можу інтерпретувати результат from sklearn.metrics import confusion_matrix >>> y_true = [2, 0, 2, 2, 0, 1] >>> y_pred = [0, 0, 2, 2, 0, 2] >>> confusion_matrix(y_true, y_pred) array([[2, 0, 0], [0, 0, …

24 predictive-models  prediction  confusion-matrix 

Я намагався моделювати ін'єкцію випадкових точок всередині кола, щоб будь-яка частина кола мала однакову ймовірність виникнення дефекту. Я очікував, що підрахунок на площу отриманого розподілу слід за розподілом Пуассона, якщо я розбиваю коло на прямокутники рівних площ. Оскільки для цього потрібно лише розмістити точки в межах кругової області, я ввів …

24 random-generation  circular-statistics 

Я будую модель, і я думаю, що географічне розташування, ймовірно, дуже добре спрогнозує мій цільовий змінний. У мене є поштовий індекс кожного з моїх користувачів. Я не зовсім впевнений, що найкращий спосіб включити поштовий індекс як функцію передбачувача у свою модель. Хоча поштовий індекс - це номер, він нічого не …

24 machine-learning  feature-construction  many-categories 

Я дізнався про PCA кілька лекцій тому на уроці, і, переконуючись більше про цю захоплюючу концепцію, я дізнався про рідкісний PCA. Мені хотілося запитати, чи не помиляюсь, це таке рідкісне PCA: У PCA, якщо у вас є точок даних із змінними, ви можете представляти кожну точку даних у розмірному просторі …

24 machine-learning  pca  sparse 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для Cross Valified. Закрито 2 роки тому . Як можна обчислити середню абсолютну процентну похибку (MAPE) наших прогнозів за допомогою Python та scikit-learn? У документах у нас є лише ці …

24 predictive-models  python  scikit-learn  mape