Статистика та великі дані

Пояснюючи, чому некорельований не означає незалежних, є кілька прикладів, які передбачають купу випадкових змінних, але всі вони здаються такими абстрактними: 1 2 3 4 . Ця відповідь, здається, має сенс. Моя інтерпретація: Випадкова величина та її площа можуть бути неспорідненими (оскільки, мабуть, відсутність кореляції є чимось на зразок лінійної незалежності), …

14 correlation  independence  non-independent  garch  intuition 

Класична обробка статистичного умовиводу спирається на припущення, що існує правильно вказана статистика. Тобто розподіл P∗(Y)P∗(Y)\mathbb{P}^*(Y) який генерував спостережувані дані yyy є частиною статистичної моделі MM\mathcal{M} : P∗(Y)∈M={Pθ(Y):θ∈Θ}P∗(Y)∈M={Pθ(Y):θ∈Θ}\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\} Однак у більшості ситуацій ми не можемо припустимо, що це дійсно так. Цікаво, що станеться зі статистичними процедурами …

14 hypothesis-testing  confidence-interval  model  frequentist  misspecification 

Дивлячись на власні вектори матриці коваріації, ми отримуємо напрями максимальної дисперсії (перший власний вектор - це напрямок, у якому дані найбільше змінюються тощо); це називається основним компонентним аналізом (PCA). Мені було цікаво, що значить би дивитись на власні вектори / значення матриці взаємної інформації, чи вказували б вони у напрямку …

14 pca  entropy  mutual-information  eigenvalues 

Я читав деякі статті, і мені незрозуміло конкретні визначення середнього ефекту від лікування (ATE) та граничного ефекту від лікування (MTE). Вони однакові? За словами Остіна ... Умовний ефект - це середній ефект на предметному рівні переміщення предмета від необробленого до обробленого. Коефіцієнт регресії для змінної індикатора призначення лікування з багатовимірної …

14 causality  hazard  propensity-scores  marginal-effect  marginal-model 

Усі приклади, які я знайшов, використовуючи глибокі переконання або звивисті нейронні мережі, використовують їх для класифікації зображень, виявлення символів або розпізнавання мови. Чи корисні глибокі нейронні мережі також корисні для класичних завдань регресії, де функції не структуровані (наприклад, не розташовані в послідовності чи сітці)? Якщо так, чи можете ви навести …

14 regression  machine-learning  neural-networks  deep-learning 

Я роблю класифікацію зображень за допомогою машинного навчання. Припустимо, у мене є деякі навчальні дані (зображення), і я розділяю їх на навчальні та валідаційні набори. І я також хочу збільшити дані (створити нові зображення з оригінальних) випадковими обертаннями та шумопоглинанням. Збільшення виконується в автономному режимі. Який правильний спосіб зробити додавання …

14 machine-learning  classification  cross-validation  dataset  data-augmentation 

Моя статистична підготовка пов'язана з математичною статистикою, і прийняття цих методів на уроках в моєму РС на даний момент трохи шокує; На даний момент мені важко зрозуміти деякі з цих "прикладних" методів, оскільки мені не вистачає досвіду в галузі. Однією з тем, про яку ми говорили на уроках моїх методів, …

14 references  experiment-design 

Часто говорять, що регресія гауссового процесу відповідає (GPR) байєсовій лінійній регресії з (можливо) нескінченною кількістю базових функцій. Зараз я намагаюся детально зрозуміти це, щоб зрозуміти, які моделі я можу виразити за допомогою GPR. Ви вважаєте, що це хороший підхід, щоб спробувати зрозуміти GPR? У книзі Гауссових процесів машинного навчання Расмуссена …

14 gaussian-process  kernel-trick  basis-function 

Можливо, тут немає теми, але вже є декілька ( один , два ) пов'язаних із цим питань. Оглянувшись літературою (або пошуком Google за усіченими алгоритмами SVD), виходить багато паперів, які різними способами використовують усічені SVD, і стверджують ( страшно , часто, без цитування), що існують швидкі алгоритми її обчислення, але …

14 algorithms  svd  numerics 

Я досить схильний до математики - мав 6 семестрів математики в моєму недограді - хоча я трохи поза практикою і повільний з частковими диференціальними рівняннями та інтегралами шляху, мої концепції повертаються з трохи практикою. У мене не було курсу з математичних доказів (математичного мислення) чи з аналізу. Я також розумію …

14 mathematical-statistics  references 

Я шукаю простий спосіб вибірки з багатовимірного розподілу фон Мізеса-Фішера в Python. Я переглянув модуль статистики в scipy та модуль numpy, але лише знайшов однозначний розподіл фон Мізеса. Чи доступний код? Я ще не знайшов. Мабуть, Вуд (1994) розробив алгоритм вибірки з розподілу vMF за цим посиланням , але я …

14 distributions  sampling  python 

У статистиці відкриття Енді Філда за допомогою SPSS він заявляє, що всі змінні повинні бути перетворені. Однак у публікації: "Вивчення просторово залежних взаємозв'язків між землекористуванням та якістю води за допомогою географічно зваженої регресії I: Розробка та оцінка моделі" вони конкретно констатують, що трансформувались лише ненормальні змінні. Цей аналіз специфічний? Наприклад, …

14 normal-distribution  data-transformation 

Чи існують якісь задокументовані алгоритми для розділення розділів даного набору даних на різні криві, що найкраще підходять? Наприклад, більшість людей, які дивляться на цю діаграму даних, легко поділяють її на 3 частини: синусоїдальний сегмент, лінійний сегмент і зворотний експоненціальний сегмент. Насправді я зробив саме це з синусоїдою, лінією та простою …

14 fitting  curve-fitting  segmentation 

Втрату шарніру можна визначити за допомогою а втрата журналу може бути визначена якмакс ( 0 , 1 - уiшТхi)макс(0,1-уiшТхi)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)журнал ( 1 + розд( - уiшТхi) )журнал(1+досвід⁡(-уiшТхi))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) У мене є такі питання: Чи є якісь недоліки втрати шарніру (наприклад, чутливі до виснажувачів, як зазначено в http://www.unc.edu/~yfliu/papers/rsvm.pdf )? Які …

14 machine-learning  svm  loss-functions  computer-vision 

Чи може хтось коротко пояснити для мене, чому кожне з шести припущень потрібне для обчислення оцінки ОЛС? Я дізнався лише про мультиколінеарність - що якщо вона існує, ми не можемо інвертувати (X'X) матрицю і, в свою чергу, оцінити загальний оцінювач. А як щодо інших (наприклад, лінійність, нульові середні помилки тощо)?

14 least-squares  assumptions