Статистика та великі дані

Я успадкував деякий код аналізу даних, який, не будучи економістом, намагаюся зрозуміти. Одна модель виконує регресію інструментальних змінних із наступною командою Stata ivreg my_dv var1 var2 var3 (L.my_dv = D2.my_dv D3.my_dv D4.my_dv) Цей набір даних є панеллю з декількома послідовними спостереженнями за цим набором змінних. Чому цей код використовує відсталі …

12 regression  stata  instrumental-variables 

Чи існує чисельно стійкий спосіб обчислення значень бета-розподілу для великих цілих альфа, бета (наприклад, альфа, бета> 1000000)? Насправді мені потрібен лише 99% довірчий інтервал навколо режиму, якщо це якось полегшує проблему. Додайте : Вибачте, моє запитання було не так чітко прописано, як я вважав, що це було. Я хочу зробити …

12 confidence-interval  algorithms  beta-distribution 

Вступний, просунутий і навіть незрозумілий, будь ласка. Переважно тестувати себе. Мені подобається, щоб я знав, про чорт, про який я говорю :) Дякую

12 teaching 

Я роблю аналізи кошиків, мої набори даних - це набір векторів транзакцій, з предметами, які купуються товари. Застосовуючи k-засоби у транзакціях, я завжди отримуватиму певний результат. Випадкова матриця, ймовірно, також відображатиме деякі кластери. Чи є спосіб перевірити, чи є я кластеризація значущою, чи це, можливо, може бути збігом обставин. Якщо …

12 clustering  statistical-significance  binary-data 

Чи існує велике правило або взагалі якийсь спосіб сказати, наскільки великим повинен бути зразок, щоб оцінити модель з заданою кількістю параметрів? Так, наприклад, якщо я хочу оцінити регресію найменших квадратів з 5 параметрами, наскільки великим повинен бути зразок? Чи не має значення, яку техніку оцінювання ви використовуєте (наприклад, максимальна ймовірність, …

12 sample-size  estimation  least-squares  maximum-likelihood 

В якості прикладу програми розглянемо наступні два властивості користувачів переповнення стека: кількість репутації та перегляду профілю . Очікується, що для більшості користувачів ці два значення будуть пропорційними: користувачі з високою кількістю представників привертають більше уваги і, отже, отримують більше переглядів профілю. Тому цікаво шукати користувачів, які мають багато переглядів профілю …

12 ratio 

Я початківець і намагаюся зрозуміти, що показує графік автокореляції. Я прочитав кілька пояснень з різних джерел, таких як ця сторінка або пов’язана сторінка Вікіпедії, серед інших, які я тут не цитую. У мене є цей дуже простий код, де в моєму індексі я є дати на рік, а значення просто …

12 python  autocorrelation  pandas 

Я маю в виду регулювання задніх дверей і регулювання передніх дверей тут : Регулювання задніх дверей : Архетипічна епідеміологічна проблема в статистиці полягає в коригуванні ефекту відміряного конфордера. Задній критерій Перла узагальнює цю ідею. Регулювання передніх дверей : Якщо деякі змінні не помічені, можливо, нам доведеться вдатися до інших методів …

12 causality  dag 

Який найкращий спосіб розділити дані часових рядів на набори поїздів / випробувань / валідації, де набір перевірки буде використовуватися для налаштування гіперпараметрів? У нас є щоденні дані про продажі на 3 роки, і ми плануємо використовувати 2015-2016 роки в якості навчальних даних, а потім випадковим чином вибирати 10 тижнів із …

12 time-series  cross-validation  validation 

Функція softmax, яка зазвичай використовується в нейронних мережах для перетворення реальних чисел у ймовірності, - це та сама функція, що і розподіл Больцмана, розподіл ймовірності за енергіями для ансамблю частинок у тепловій рівновазі при заданій температурі T в термодинаміці. Я бачу деякі чіткі евристичні причини, чому це практично: Незалежно від …

12 machine-learning  neural-networks  softmax 

Цікаво, яке власне значення використання гармонічного середнього (наприклад, для обчислення F-мір) на відміну від зваженого середнього арифметичного при поєднанні точності та згадування? Я думаю, що середньозважене середнє арифметичне може зіграти роль гармонійного середнього, чи я щось пропускаю?

12 machine-learning  monte-carlo  precision-recall  harmonic-mean 

Я дивився лекції CS231N зі Стенфорда і намагаюся обернути голову навколо деяких питань архітектури CNN. Що я намагаюся зрозуміти, чи є якісь загальні вказівки щодо вибору розміру фільтра згортки та такі речі, як ходу, чи це більше мистецтво, ніж наука? Як я розумію, об'єднання існує, головним чином, для того, щоб …

12 neural-networks  deep-learning  conv-neural-network 

Я розумію , що даний набір mmm незалежних спостережень максимального правдоподібності оцінювач (або, що еквівалентно, карта з плоскою / рівномірної до) , який ідентифікує параметрів , які виробляють розподіл моделі що найкраще відповідає цим спостереженнямO={o(1),...,o(m)}O={o(1),...,o(m)}\mathbb{O}=\{\mathbf{o}^{(1)}, . . . , \mathbf{o}^{(m)}\}θθ\mathbf{θ}pmodel(⋅;θ)pmodel(⋅;θ)p_{model}\left(\,\cdot\, ; \mathbf{θ}\right) θML(O)=pmodel(O;θ)=argmaxθ‎‎∏i=1mpmodel(o(i);θ)θML(O)=pmodel(O;θ)=arg⁡maxθ‎‎∏i=1mpmodel(o(i);θ)\mathbf{θ}_{ML}(\mathbb{O})= p_{model}\left(\mathbb{O}; \mathbf{θ}\right) = \underset{\mathbf{θ}}{\arg\max}‎‎\prod_{i=1}^{m} p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) або, …

12 maximum-likelihood  deep-learning  cross-entropy 

У яких ситуаціях слід використовувати t-SNE (крім візуалізації даних)? T-SNE використовується для зменшення розмірності. Відповідь на це запитання говорить про те, що t-SNE слід використовувати лише для візуалізації, і ми не повинні використовувати його для кластеризації. Тоді яке корисне використання для t-SNE?

12 data-visualization  dimensionality-reduction  tsne 

У розпізнаванні образів Бішопа та машинному навчанні я прочитав наступне, одразу після введення щільності ймовірності p(x∈(a,b))=∫bap(x)dxp(x∈(a,b))=∫abp(x)dxp(x\in(a,b))=\int_a^bp(x)\textrm{d}x : При нелінійній зміні змінної щільність ймовірності перетворюється по-різному від простої функції завдяки якобіанському фактору. Наприклад, якщо ми розглянемо зміну змінних x=g(y)x=g(y)x = g(y) , то функція f(x)f(x)f(x) стає f~(y)=f(g(y))f~(y)=f(g(y))\tilde{f}(y) = f(g(y)) . Тепер …

12 machine-learning  probability