Статистика та великі дані

Регресія LASSO зменшує коефіцієнти до нуля, забезпечуючи ефективний вибір моделі. Я вважаю, що в моїх даних є змістовні взаємодії між номінальними та безперервними коваріатами. Однак, не обов'язково, що "основні наслідки" справжньої моделі є змістовними (не нульовими). Звичайно, я цього не знаю, оскільки справжня модель невідома. Мої цілі - знайти справжню …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Закрито . Це питання ґрунтується на думці . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб на нього можна було відповісти фактами та цитатами, відредагувавши цю публікацію . Закрито 2 роки тому . Принципова проблема глибокого навчання та нейронних мереж загалом. Рішення, що відповідають даним навчальних даних, …

25 machine-learning  neural-networks  svm  deep-learning 

Протягом усієї думки ми вважаємо, що наша статистика є функцією деяких даних яка з функції розподілу ; емпірична функція розподілу нашої вибірки - . Отже є статистикою, що розглядається як випадкова величина, а - версія завантаження статистики. Ми використовуємо як відстань KSθ ( ⋅ )θ(⋅)\theta(\cdot)Х1, … XнX1,…XnX_1, \ldots X_nthetas ; …

25 probability  mathematical-statistics  bootstrap  asymptotics  consistency 

Які переваги, чому можна використовувати декілька LSTM, складених один на один, у глибокій мережі? Я використовую LSTM, щоб представляти послідовність входів як єдиний вхід. Тож як тільки я маю це єдине представництво - чому я б його передавав знову? Я запитую це, тому що я це бачив у програмі покоління …

25 classification  neural-networks  deep-learning  lstm  rnn 

Чому функції активації випрямлених лінійних одиниць (ReLU) вважаються нелінійними? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Вони лінійні, коли вхід позитивний, і з мого розуміння, щоб розблокувати репрезентативну потужність глибоких мереж, нелінійні активації є обов'язковими, інакше вся мережа може бути представлена ​​одним шаром.

25 neural-networks  deep-learning 

Я намагаюся розробити модель прогнозування, використовуючи великі клінічні дані, включаючи лабораторні значення. Простір даних розрізнений з 5-ти зразками та 200 змінними. Ідея полягає у ранжуванні змінних за допомогою методу вибору функцій (IG, RF тощо) та використання функцій вищого рейтингу для розробки прогнозної моделі. Хоча вибір можливостей іде добре з підходом …

25 machine-learning  missing-data 

Скажімо , у нас є розподіл Діріхле з - мірного векторного параметра → & alpha ; = [ & alpha ; 1 , & alpha ; 2 , . . . , α K ] . Як я можу зробити з цього розподілу зразок ( K- розмірний вектор)? Мені потрібно …

25 sampling  dirichlet-distribution 

Чи твердження про те, що функції незалежних випадкових змінних самі по собі є незалежними, є правдивим? Я бачив, що результат часто неявно використовується в деяких доказах, наприклад, у доведенні незалежності між середньою вибіркою та дисперсією вибірки від нормального розподілу, але мені не вдалося знайти виправдання для цього. Здається, деякі автори …

25 probability  self-study  random-variable  independence 

Нещодавно я почав вивчати машинне навчання, проте мені не вдалося зрозуміти інтуїцію за логістичною регресією . Далі наведені факти про логістичну регресію, які я розумію. В якості основи гіпотези ми використовуємо сигмоїдну функцію . Я розумію , чому це правильний вибір, проте , чому це єдиний вибір , який я …

25 regression  machine-learning  logistic 

Отже, я вважаю, що я гідно розумію основи частого періодичного вірогідності та статистичного аналізу (і як погано це можна використовувати). У частістському світі є сенс задати таке питання, як "чи відрізняється цей розподіл від такого розподілу", оскільки дистрибуції вважаються реальними, об'єктивними та незмінними (як мінімум для даної ситуації), і тому …

25 distributions  bayesian 

У мене є набір даних із набором функцій. Деякі з них є двійковими активний або звільнений, неактивний або спокійний), а решта оцінюються реально, наприклад .(1=(1=(1=0=0=0=4564.3424564.3424564.342 Я хочу подати ці дані в алгоритм машинного навчання, тому я -знаходжу всі реально оцінені функції. Я отримую їх приблизно від до . Тепер двійкові …

25 machine-learning  normalization  binary-data 

У мене є набір даних зразкових спостережень, які зберігаються як рахунки в межах діапазону. наприклад: min/max count 40/44 1 45/49 2 50/54 3 55/59 4 70/74 1 Тепер, знайти оцінку середнього з цього досить прямо. Просто використовуйте середнє значення (або медіану) кожного бункера діапазону як спостереження, а підрахунок як вагу …

25 variance  standard-deviation  weighted-sampling 

У дискусії: як генерувати криву roc для бінарної класифікації , я думаю, що плутанина полягала в тому, що "двійковий класифікатор" (який є будь-яким класифікатором, який розділяє 2 класи) для Ян називається "дискретним класифікатором" (який виробляє дискретні виходи 0/1, як SVM), а не безперервні виходи, такі як ANN або Bayes-класифікатори ... …

25 cross-validation  roc  auc 

У мене є деякі дані, і я хочу створити модель (скажімо, модель лінійної регресії) з цих даних. На наступному кроці я хочу застосувати перехресну перевірку Leave-One-Out (LOOCV) на моделі, щоб побачити, наскільки вона хороша. Якщо я правильно зрозумів LOOCV, будую нову модель для кожного мого зразка (тестовий набір), використовуючи кожен …

25 cross-validation 

Мені потрібно генерувати випадкові неквадратичні матриці з рядками та стовпцями, елементами, випадковим чином розподіленими із середнім = 0, та обмеженими таким чином, що довжина (норма L2) кожного рядка дорівнюєRRRCCC111 а довжина кожного стовпця - . Рівнозначно, значення квадратних значень дорівнює 1 для кожного рядка і для кожного стовпця.RC−−√RC\sqrt{\frac{R}{C}}RCRC\frac{R}{C} Поки я …

25 random-generation  normalization  markov-process  random-matrix