Статистика та великі дані

Я розглядав напівконтрольовані методи навчання і натрапив на поняття "псевдо-маркування". Як я розумію, при псевдомаркуванні ви маєте набір мічених даних, а також набір немаркованих даних. Ви спочатку тренуєте модель лише на маркованих даних. Потім ви використовуєте ці вихідні дані для класифікації (додавання до тимчасових міток) неозначених даних. Потім ви повертаєте …

19 machine-learning  semi-supervised 

Чи є математичне чи алгоритмічне визначення надфітфінгу? Часто даними визначеннями є класичний двовимірний графік точок з лінією, що проходить через кожну точку, і крива втрати валідації раптово піднімається вгору. Але чи є математично суворе визначення?

18 mathematical-statistics  optimization  overfitting 

Для регресії використовуються випадкові ліси. Однак, наскільки я розумію, вони призначають середнє цільове значення для кожного аркуша. Оскільки в кожному дереві є лише обмежене листя, є лише конкретні значення, які ціль може отримати з нашої регресійної моделі. Отже, це не просто "дискретна" регресія (як ступінчаста функція), а не така, як …

18 regression  random-forest  cart 

Покрокові алгоритмічні методи вибору змінних мають тенденцію вибирати для моделей, які зміщують більш-менш кожну оцінку в регресійних моделях ( s та їх SE, p -значення, F- статистика тощо), і приблизно так само ймовірно виключають справжні прогнози, як включають помилкові прогнози відповідно до досить зрілої імітаційної літератури.ββ\beta Чи страждає LASSO тими …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

У формулі Байєса: P(x|a)=P(a|x)P(x)P(a)P(x|a)=P(a|x)P(x)P(a)P(x|a) = \frac{P(a|x) P(x)}{P(a)} чи може задня ймовірність перевищувати 1?P(x|a)P(x|a)P(x|a) Я думаю, що це можливо, якщо, припустимо, що , і , і . Але я не впевнений у цьому, бо що це означало б, щоб ймовірність була більшою за одиницю?0&lt;P(a)&lt;10&lt;P(a)&lt;10 < P(a) < 1P(a)&lt;P(x)&lt;1P(a)&lt;P(x)&lt;1P(a) < P(x) < …

18 probability  bayesian  conditional-probability 

Я намагаюся зрозуміти, що таке ланцюг Маркова Монте-Карло (MCMC) зі сторінки французької Вікіпедії. Вони кажуть, "що методи Монте-Карло ланцюга Маркова складаються з генерування вектора лише з векторних даних , тому це процес" без пам'яті "".xixix_ {i}xi−1xi−1x_ {i-1} Les méthodes de Monte-Carlo par chaînes de Markov послідовні à générer un vecteur …

18 mcmc 

Чи збігається нормальний розподіл до певного розподілу, якщо стандартне відхилення зростає без меж? мені здається, що pdf починає виглядати як рівномірний розподіл з межами, заданими . Це правда?[−2σ,2σ][−2σ,2σ][-2 \sigma, 2 \sigma]

18 normal-distribution  convergence 

У мене є двійкова змінна результат {0,1} і змінна прогноза {0,1}. Мої думки полягають у тому, що не має сенсу займатися логістикою, якщо я не включаю інші змінні та не підраховую коефіцієнт шансів. З одним двійковим предиктором, чи не обчислить вірогідність, достатня проти коефіцієнта шансів?

18 r  regression  probability  logistic  odds-ratio 

Коли слово "упередженість" було введено у значення ?E[θ^−θ]E[θ^−θ]\mathbb{E}[\hat{\theta}-\theta] Причина, чому я зараз думаю про це зараз, полягає в тому, що, здається, я згадую Джейнеса в його тексті теорії ймовірності , критикуючи вживання слова "упередженість", яке використовується для опису цієї формули, і пропоную альтернативу. З теорії ймовірності Джейнеса , розділ 17.2 …

18 terminology  bias  history 

Я перебуваю в 10 класі і шукаю моделювати дані для проекту ярмарку машинного навчання. Кінцева модель буде використана на даних про пацієнтів і передбачає співвідношення між певним часом тижня та впливом, яке це має на прихильність ліків у межах даних про одного пацієнта. Значення прихильності будуть двійковими (0 означає, що …

18 machine-learning  statistical-significance  t-test  python  simulation 

Найбільш поширені конволюційні нейронні мережі містять об'єднання шарів для зменшення розмірів вихідних ознак. Чому я не міг досягти того самого, просто збільшивши крок конволюційного шару? Що робить шар об'єднання необхідним?

18 deep-learning  conv-neural-network  pooling 

Я працюю над проектом машинного навчання з даними, які вже (сильно) упереджені підбором даних. Припустимо, у вас є набір жорстко закодованих правил. Як ви будуєте модель машинного навчання для її заміни, коли всі дані, які вона може використовувати, - це дані, які вже відфільтровані за цими правилами? Щоб зрозуміти, я …

18 machine-learning  classification  data-mining  bias  extrapolation 

Чи є одне англійське слово для позначення "кількості стовпців" матриці? Наприклад, «Розмірність» з матриці . Мені потрібен термін для у цьому прикладі. Я завжди можу просто сказати "кількість стовпців", звичайно, але чи можу я мати для цього єдине слово?2×32×32\times 32×32×32\times 3333

18 terminology  matrix 

У мене є дані вина з тут , який складається з 11 числових незалежних змінних із залежною рейтинг , пов'язаної з кожним записом зі значеннями від 0 до 10. Це робить його відмінний набір дані , щоб використовувати регресійну модель для вивчення взаємозв'язку між змінними та асоційованим рейтинг. Однак чи …

18 r  regression  logistic  ordered-logit 

Мої професори фізики в середній школі, а також благородний лауреат Фейнман завжди представляли те, що вони називали іграшковими моделями, щоб проілюструвати основні поняття та методи фізики, такі як гармонійний генератор, маятник, прядильна поверхня та чорний ящик. Які моделі іграшок використовуються для ілюстрації основних понять та методів, що лежать в основі …

18 machine-learning  neural-networks  deep-learning