Статистика та великі дані

Здається, що там є суперечливі поради щодо того, як поводитись із порівнянням помилок поїзда та тесту, особливо коли між ними є розрив. Здається, дві школи думок, які мені здаються конфліктними. Я шукаю, щоб зрозуміти, як примирити їх (або зрозуміти, чого мені тут не вистачає). Думка № 1: Розрив між роботою …

14 cross-validation  overfitting 

Це стосується статті " Ефективна локалізація об'єктів за допомогою згорткових мереж" , і з того, що я розумію, випадання реалізується в 2D. Після прочитання коду від Кераса про те, як реалізовано просторовий 2D випадання, в основному реалізується випадкова бінарна маска форми [batch_size, 1, 1, num_channels]. Однак що саме робить цей …

14 machine-learning  deep-learning  tensorflow  dropout 

Після відповіді на питання ( витягування вагової важливості з одношарової мережі передачі вперед ) я шукаю висновок про релевантність входів у нейронні мережі. Враховуючи глибоку сітку, де реконструкція важливості входу шляхом просування назад через шари від вивідного вузла, що цікавить, може бути важким або забираючи багато часу, мені було цікаво, …

14 neural-networks  python  feature-selection  sensitivity-analysis 

Скажімо, у нас є X форми (2, 5) і y форми (2,) Це працює: np.linalg.lstsq(X, y) Ми очікуємо, що це спрацює лише в тому випадку, якщо X має форму (N, 5), де N> = 5 Але чому і як? Ми отримуємо назад 5 ваг, як очікувалося, але як вирішується ця …

14 least-squares  linear-algebra  numpy 

Я чув (вибачте, не можу надати посилання на текст, щось мені сказали), що високий позитивний куртоз залишків може бути проблематичним для точних тестів гіпотез та довірчих інтервалів (і, отже, проблеми зі статистичним висновком). Це правда, і якщо так, то чому? Чи не може високий позитивний куртоз залишків не вказувати на …

14 statistical-significance  p-value  assumptions  kurtosis 

Це питання стосовно практики чи методу, за яким дотримуються деякі мої колеги. Створюючи логістичну регресійну модель, я бачив, як люди замінюють категоричні змінні (або суцільні змінні, котрі поширюються) на відповідну Вагу доказів (WoE). Це нібито робиться для встановлення монотонного зв'язку між регресором та залежною змінною. Наскільки я розумію, щойно модель …

14 regression  logistic  categorical-data  modeling 

Я беру курс на регресійні моделі і однією з властивостей, передбачених для лінійної регресії, є те, що залишки завжди дорівнюють нулю, коли включається перехоплення. Чи може хтось дати гарне пояснення, чому це так?

14 regression  residuals 

Я випускник бізнесу та економіки, який зараз навчається на ступінь магістра з інженерії даних. Під час вивчення лінійної регресії (LR), а потім аналізу часових рядів (TS) у мене в голові з’явилося запитання. Навіщо створювати абсолютно новий метод, тобто часовий ряд (ARIMA), замість того, щоб використовувати кілька лінійних регресій і додавати …

14 regression  time-series  multiple-regression  least-squares  arima 

Питання: Які переваги / недоліки використання одного попереднього над іншим для вибору змінної? Припустимо, я маю ймовірність: де я можу поставити будь- який з пріорів: w i ∼ π δ 0 + ( 1 - π ) N ( 0 , 100 )у∼ N( Xw , σ2Я)у∼N(Хш,σ2Я)y\sim\mathcal{N}(Xw,\sigma^2I) або: w i …

14 bayesian  feature-selection 

Чи існують відомі системи оцінювання чи рейтингування, подібні до Ело, для подій, що беруть участь у кількох учасниках? Наприклад, система, яка може оцінювати різні форми перегонів (авто, спуски, коні тощо) або інші індивідуальні види спорту (наприклад, гольф)?

14 ranking  elo 

Чи є якісь вагомі причини віддати перевагу бінарним значенням (0/1) над дискретними або безперервними нормованими значеннями, наприклад (1; 3), як входи для мережі подачі для всіх вузлів входу (із зворотним розповсюдженням чи без)? Звичайно, я кажу лише про вхідні дані, які можуть бути перетворені в будь-яку форму; наприклад, коли у …

14 neural-networks 

Я брав курс машинного навчання Ендрю Нґ, і не зміг отримати відповідь на це питання правильно після декількох спроб. Ласкаво допоможіть вирішити це, хоч я пройшов рівень. Припустимо, студенти взяли якийсь клас, а клас мав середній іспит та підсумковий іспит. Ви зібрали набір даних про їхні бали на двох іспитах:м=4m=4m=4 …

14 machine-learning  self-study  normalization 

Відповідно до цього підручника з глибокого навчання , зменшення ваги (регуляризація) зазвичай не застосовується до термінів зміщення b, чому? Яке значення має інтуїція?

14 machine-learning  neural-networks  bias  regularization 

Стандартна помилка оцінне стандартне відхилення σ ( θ ) з оцінювання & thetas для параметра & thetas .σ^( θ^)σ^(θ^)\hat \sigma(\hat\theta)θ^θ^\hat\thetaθθ\theta Чому оцінене стандартне відхилення залишків називається "залишковою стандартною помилкою" (наприклад, у висновку функції R summary.lm), а не "залишковим стандартним відхиленням"? Яку оцінку параметрів ми тут оснащуємо стандартною помилкою? Чи розглядаємо …

14 r  standard-error  residuals  terminology 

Дуже часто, коли я досліджую нові статистичні методи та концепції, я стикаюся з різницею у квадраті (або середньою помилкою у квадраті, або безліччю інших епітетів). Як приклад, р. Пірсона визначається на основі середньої різниці у квадраті від лінії регресії, на якій лежать точки. Для ANOVA ви дивитесь на суму квадратів …

14 normal-distribution