Статистика та великі дані

Контекст : Уявіть, що ви провели поздовжнє дослідження, яке вимірювало залежну змінну (DV) один раз на тиждень протягом 20 тижнів на 200 учасників. Хоча мене цікавлять загалом, типові відеореєстратори, до яких я думаю, включають ефективність роботи після найму чи різні заходи щодо благополуччя після втручання клінічної психології. Я знаю, що …

32 repeated-measures  random-effects-model  latent-class 

За завісою стоїть людина - я не знаю, людина це жінка чи чоловік. Я знаю, що у людини довге волосся, і що 90% всіх людей з довгим волоссям - жінки Я знаю, що людина має рідкісну групу крові AX3, і 80% всіх людей із цією групою крові - жінки. Яка …

32 conditional-probability  probability 

Комп’ютери вже давно вміють грати в шахи, використовуючи техніку "грубої сили", шукаючи певну глибину і потім оцінюючи позицію. Комп'ютер AlphaGo, однак, використовує лише ANN для оцінки позицій (наскільки я не знаю, він не здійснює глибокого пошуку). Чи можливо створити шаховий двигун, який грає в шахи так само, як AlphaGo грає …

32 neural-networks  deep-learning  reinforcement-learning  games 

Передумови : Я хочу класифікувати житлові райони міста на групи на основі їх соціально-економічних характеристик, включаючи щільність житлових одиниць, густоту населення, площу зелених насаджень, ціну житла, кількість шкіл / медичних центрів / дитсадок тощо. Хочу зрозуміти, на скільки різних груп можна розділити житлові райони та які їх унікальні характеристики. Ця …

32 clustering  pca  k-means  dimensionality-reduction 

Я трохи плутаю лекцію про лінійну регресію, яку виголосив Ендрю Нґ на Coursera про машинне навчання. Там він дав функцію витрат, яка мінімізує суму квадратів: 12 м∑i = 1м( годθ( X( i )) - Y( i ))212м∑i=1м(годθ(Х(i))-Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 Я розумію, звідки походить . Я думаю, що він …

32 regression  machine-learning  loss-functions 

Я використовую SVM для класифікації і намагаюся визначити оптимальні параметри для лінійних та RBF ядер. Для лінійного ядра я використовую перехресний вибір параметрів для визначення C, а для ядра RBF я використовую пошук сітки для визначення C та гамми. У мене є 20 (числових) ознак та 70 прикладів навчання, які …

32 classification  svm  kernel-trick 

Для проблеми з регресією я бачив, як люди використовують "коефіцієнт визначення" (він же R квадрат) для вибору моделі, наприклад, знаходження відповідного коефіцієнта штрафу для регуляризації. Однак, також зазвичай використовується "середня помилка в квадраті" або "помилка середнього квадрату" як міра точності регресії. То в чому головна відмінність цих двох? Чи можна …

32 regression  r-squared 

Алгоритм PCA можна сформулювати за допомогою кореляційної матриці (припустимо, що дані вже нормалізовані, і ми розглядаємо лише проекцію на перший ПК). Цільову функцію можна записати так:XXX maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. Це добре, і для його вирішення використовуємо множники Лагрангія, тобто переписуємо їх як: maxw[(Xw)T(Xw)−λwTw],maxw[(Xw)T(Xw)−λwTw], \max_w …

32 pca  optimization 

Я знайшов проект Euler http://projecteuler.net/ неймовірно корисним у вивченні мов програмування. Чи є подібний сайт для машинного навчання? Я бачив http://www.kaggle.com/ , але він не настільки доступний для початківців, як Project Euler.

32 teaching 

В основному аналізі компонентів (PCA) можна вибрати або коваріаційну матрицю, або кореляційну матрицю, щоб знайти компоненти (з відповідних власних векторів). Вони дають різні результати (завантаження ПК та бали), оскільки власні вектори між обома матрицями не рівні. Я розумію, що це спричинене тим, що вектор і його стандартизація Z не можуть …

32 pca  factor-analysis 

Я знайшов велику літературу, яка пропонує всілякі критерії (наприклад, Glenn et al. 1985 (pdf) та Jung et al. 2002 (pdf)). Однак більшість із них не так просто здійснити (принаймні, з моєї точки зору). Я використовую scipy.cluster.hierarchy для отримання ієрархії кластерів, і зараз я намагаюся вирішити, як з цього формувати плоскі …

32 clustering 

Я хочу встановити багаторівневий GLMM з розподілом Пуассона (з надмірною дисперсією) за допомогою R. На даний момент я використовую lme4, але я помітив, що нещодавно quasipoissonсім’я була видалена. Я десь бачив, що можна моделювати адитивну наддисперсію для біноміальних розподілів, додаючи випадковий перехоплення з одним рівнем за спостереження. Чи стосується це …

32 r  mixed-model  poisson-distribution  lme4-nlme  overdispersion 

Як обчислити відносну помилку, коли справжнє значення дорівнює нулю? Скажіть, у мене xtrue=0xtrue=0x_{true} = 0 і xtestxtestx_{test} . Якщо я визначаю відносну помилку як: relative error=xtrue−xtestxtruerelative error=xtrue−xtestxtrue\text{relative error} = \frac{x_{true}-x_{test}}{x_{true}} Тоді відносна похибка завжди не визначена. Якщо замість цього я використовую визначення: relative error=xtrue−xtestxtestrelative error=xtrue−xtestxtest\text{relative error} = \frac{x_{true}-x_{test}}{x_{test}} Тоді відносна …

32 error  measurement-error 

Я хотів би регресувати вектор B проти кожного зі стовпців у матриці А. Це тривіально, якщо відсутні дані, але якщо матриця A містить відсутні значення, то моя регресія проти A обмежена, щоб включати лише рядки, де всі значення присутні ( поведінка na.omit за замовчуванням ). Це дає неправильні результати для …

32 r  missing-data  linear-model 

Фон вступу Всередині конвертної нейронної мережі ми зазвичай маємо загальну структуру / потік, яка виглядає так: вхідне зображення (тобто 2D вектор x) (1-й згортковий шар (Conv1) починається тут ...) включають набір фільтрів ( w1) вздовж двовимірного зображення (тобто виконайте z1 = w1*x + b1множення крапкового продукту), де z1є 3D, і …

32 neural-networks  deep-learning  conv-neural-network