Статистика та великі дані

У коментарі до цього питання користувач @whuber цитував можливість використання періодичної версії сплайнів для підгонки періодичних даних. Я хотів би дізнатися більше про цей метод, зокрема рівняння, що визначають сплайни, і як їх реалізувати на практиці (я здебільшого Rкористувач, але я можу зробити з MATLAB або Python, якщо виникне потреба). …

10 regression  time-series  seasonality  splines 

У цьому питанні, мабуть, існує більше ніж одне серйозне непорозуміння, але воно не має на меті правильне обчислення, а мотивувати вивчення часових рядів з деякою увагою. Намагаючись розібратися у застосуванні часових рядів, здається, що неначе тренд даних робить передбачення майбутніх значень неправдоподібними. Наприклад, gtempчасовий ряд із astsaпакету виглядає приблизно так: …

10 r  time-series  data-visualization 

На форумах по іменуванню немовлят майбутні батьки весь час повторюють версію свого Страху перед Дженніфер: "Я не хочу, щоб моя дитина була однією з п'яти у своєму класі з його ім'ям". Справа в тому, що жодне ім’я вже не наближається до такої популярності, і навіть у розпал манія Дженніфер ви …

10 probability  combinatorics 

Наскільки я розумію, що оцінка перехресної перевірки k-кратної помилки тесту зазвичай недооцінює фактичну помилку тесту. Я розгублений, чому це так. Я бачу, чому помилка навчання зазвичай нижча, ніж помилка тесту - адже ви тренуєте модель за тими самими даними, на яких ви оцінюєте помилку! Але це не так для перехресної …

10 cross-validation  bias 

Нехай Х1X1X_1 , Х2X2X_2 , ⋯⋯\cdots , Хг∼ N( 0 , 1 )Xd∼N(0,1)X_d \sim \mathcal{N}(0, 1) і будуть незалежними. Яке очікування Х41( X21+ ⋯ + X2г)2X14(X12+⋯+Xd2)2\frac{X_1^4}{(X_1^2 + \cdots + X_d^2)^2} ? Е легко знайти Е ( X21Х21+ ⋯ + X2г) = 1гE(X12X12+⋯+Xd2)=1d\mathbb{E}\left(\frac{X_1^2}{X_1^2 + \cdots + X_d^2}\right) = \frac{1}{d} за симетрією. …

10 probability  self-study  normal-distribution  chi-squared  expected-value 

Нехай X1,...,XnX1,...,XnX_1,...,X_n є IID з N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2) , і нехай X(i)X(i)X_{(i)} позначимо iii «й найменший елемент з X1,...,XnX1,...,XnX_1,...,X_n . Як можна було б перевершити очікуваний максимум співвідношення між двома послідовними елементами в X(i)X(i)X_{(i)} ? Тобто, як можна обчислити верхню межу: E[maxi=1,...,n−1(X(i+1)X(i))]E[maxi=1,...,n−1(X(i+1)X(i))]E\left[\max\limits_{i=1,...,n-1}\left(\frac{X_{(i+1)}}{X_{(i)}}\right)\right] Література, яку мені вдалося знайти, в основному зосереджена на співвідношенні …

10 expected-value  order-statistics  ratio  maximum 

Наразі я намагаюся зрозуміти фільтри для частинок та їх можливе використання у фінансах, і я дуже боюся. Які математичні та статистичні передумови я повинен переглянути (виходячи з досвіду кількісних фінансів), щоб (i) зробити основні фільтри для частинок доступними та (ii) пізніше зрозуміти їх? Я добре знаю економетрику часових рядів випускників, …

10 time-series  particle-filter 

Це показник F бета: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} У статті Вікіпедії зазначено, що .FβFβF_\beta "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision" Я не здобув ідеї. Чому так …

10 machine-learning  precision-recall  model-evaluation 

Нехай - послідовність iid випадкових змінних, відібраних з альфа-стабільного розподілу , з параметрами .X1,X2,…,X3nX1,X2,…,X3nX_1, X_2, \ldots, X_{3n}α=1.5,β=0,c=1.0,μ=1.0α=1.5,β=0,c=1.0,μ=1.0\alpha = 1.5, \; \beta = 0, \; c = 1.0, \; \mu = 1.0 Тепер розглянемо послідовність , де , для .Y1,Y2,…,YnY1,Y2,…,YnY_1, Y_2, \ldots, Y_{n}Yj+1=X3j+1X3j+2X3j+3−1Yj+1=X3j+1X3j+2X3j+3−1Y_{j+1} = X_{3j+1}X_{3j+2}X_{3j+3} - 1j=0,…,n−1j=0,…,n−1j=0, \ldots, n-1 Я хочу …

10 probability  self-study  monte-carlo  convergence  order-statistics 

Чи можна навчити нейронну мережу малювати зображення в певному стилі? (Отже, він знімає зображення і перемальовує його у стилі, для якого він був навчений.) Чи є якась затверджена технологія для такого роду речі? Я знаю про алгоритм DeepArt. Добре заповнити основне зображення певним малюнком (наприклад, vangoghify image), але я шукаю …

10 machine-learning  neural-networks  deep-learning 

У тестуванні гіпотез поширене питання - що таке дисперсія населення? Моє запитання - як ми можемо коли-небудь знати дисперсію населення? Якби ми знали весь розподіл, ми також могли б знати середню кількість всього населення. Тоді в чому сенс тестування гіпотез?

10 hypothesis-testing  variance  t-test  z-test 

У моєму класі машинного навчання ми дізналися про те, наскільки регресія LASSO дуже гарна при виборі функцій, оскільки використовує регуляризацію .л1л1l_1 Моє запитання: чи зазвичай люди використовують модель LASSO лише для вибору функцій (а потім переходять до скидання цих функцій в іншу модель машинного навчання), або вони зазвичай використовують LASSO …

10 feature-selection  lasso  regression-strategies 

У мене є набір даних із 482 спостережень. data=Populationfull Я збираюся зробити аналіз асоціації генотипів для 3 СНП. Я намагаюся побудувати модель для мого аналізу, і я використовую aov (y ~ x, data = ...). Для однієї ознаки у мене є кілька фіксованих ефектів і коваріатів, які я включив у …

10 r  anova 

У мене є дві категоріальні / номінальні змінні. Кожен з них може приймати лише два різних значення (так, у мене всього 4 комбінації). Кожна комбінація значень поставляється з набором числових значень. Отже, у мене є 4 набори цифр. Щоб зробити це більш конкретним, скажімо, що я маю male / femaleі …

10 hypothesis-testing  p-value  nonparametric  permutation-test 

Я намагався реалізувати числову оцінку дивергенції Куллбека-Лейблера для двох зразків. Для налагодження реалізації намалюйте вибірки з двох нормальних розподілів та .N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Для простої оцінки я створив дві гістограми і спробував числово наблизити інтеграл. Я застряг в обробці тих частин гістограми, де бункери однієї гістограми дорівнюють нулю, …

10 estimation  intuition  kullback-leibler  numerics