Статистика та великі дані

Я збираюся закінчити свою відзнаку статистикою, і мені дуже хочеться зробити докторську ступінь, тому що вважаю математичну статистику надзвичайно цікавою. Сфери досліджень, які я найбільше хочу зробити докторантом, - це стохастичні процеси та часові ряди. Однак я також хочу продовжити кар'єру в приватному секторі після закінчення доктора наук. Мені було …

13 mathematical-statistics  careers  phd 

Ініціалізуючи ваги з'єднання у нейромережі, що подається, важливо ініціалізувати їх випадковим чином, щоб уникнути будь-яких симетрій, які алгоритм навчання не зміг би розірвати. Рекомендація, яку я бачив у різних місцях (наприклад, у підручнику MNIST TensorFlow ), - це використовувати усічений нормальний розподіл, використовуючи стандартне відхилення , де - кількість входів …

13 neural-networks  backpropagation  weights  truncated-normal 

Враховуючи дві випадкові величини та ми можемо обчислити їх "коефіцієнт кореляції" , і сформувати лінію, що найкраще підходить між цими двома випадковими змінними. Моє питання чому?η cξξ\xiηη\etaccc 1) Існують випадкові величини, та які залежать найгіршим можливим способом, тобто і незважаючи на це . Якщо б тільки думати по лінійній регресії, …

13 regression 

Я хочу знати, що це таке, і чим він відрізняється від складання? Припустимо, я хочу досягти високої точності в класифікації та сегментації, для конкретного завдання, якщо для досягнення цього я використовую різні мережі, такі як CNN, RNN тощо, це називається цільовою моделлю? (архітектура?) чи ні?

13 machine-learning  terminology  deep-learning 

Нещодавно я переглянув деякі старі статті Ненсі Рейд, Барндорфа-Нільсена, Річарда Кокса і, так, маленького Рональда Фішера про концепцію «умовного умовиводу» у частою парадигмі, що, мабуть, означає, що умовиводи засновані на врахуванні лише "відповідний підмножина" простору вибірки, а не всього простору вибірки. В якості ключового прикладу відомо, що довірчі інтервали, засновані …

13 confidence-interval  maximum-likelihood  inference 

У своєму блозі фізик Стів Хсу написав наступне: Якщо припустити нормальний розподіл, у США є лише близько 10 000 людей, які виступають у + 4SD та аналогічна кількість у Європі, тож це досить відібране населення (приблизно, декілька сотень старших старшокласників щороку в США). Якщо ви екстраполюєте цифри азіатських країн Азії …

13 normal-distribution 

Передумови: Я нещодавно на більш глибокому рівні зрозумів важливість розширення даних під час тренування конволюційних нейронних мереж після того, як побачив цю чудову розмову Джеффрі Хінтона . Він пояснює, що конволюційні нейронні мережі сучасного покоління не здатні узагальнити систему відліку обстежуваного об'єкта, що ускладнює мережу по-справжньому зрозуміти, що дзеркальні зображення …

13 machine-learning  deep-learning 

Отже, у мене є випадковий процес генерування лог-нормально розподілених випадкових величин . Ось відповідна функція щільності ймовірності:XXX Я хотів оцінити розподіл на кілька моментів того початкового розподілу, скажімо, 1-й момент: середнє арифметичне. Для цього я намалював 10000 випадкових змінних 10000 разів, щоб я міг обчислити 10000 оцінку середнього арифметичного. Є …

13 estimation  bias  fitting  lognormal  moments 

Як слід рухатись до перетворення частотистського результату в байєсівський пріоритет? Розглянемо наступний досить загальний сценарій: Експеримент проводився в минулому, і було виміряно результат за деяким параметром . Аналіз робився за допомогою частотистської методології. В результатах задається інтервал довіри для .ϕϕϕ\phiϕϕ\phi Зараз я провожу новий експеримент, де я хочу виміряти деякі …

13 bayesian  confidence-interval  meta-analysis  prior 

Наскільки мені відомо, різниця між логістичною моделлю та моделлю дробового реагування (frm) полягає в тому, що залежна змінна (Y), в якій frm, [0,1], але логістична - {0, 1}. Крім того, frm використовує квазіімовірність для визначення його параметрів. Зазвичай ми можемо використовувати glmдля отримання логістичних моделей за glm(y ~ x1+x2, data …

13 r  logistic  generalized-linear-model  quasi-likelihood 

Моє питання стосується настоятелі про розміри ефекту, в моєму проекті міра Коена . Читаючи літературу, здається, часто використовуються розпливчасті пріори, як, наприклад, у відомих восьми школах приклад ієрархічного байєсівського метааналізу. У восьми прикладах шкіл я бачив розпливчастий раніше, використовуваний для оцінки mu, наприклад, μ θ ∼ нормальний ( 0 , …

13 bayesian  meta-analysis  effect-size 

Я моделюю 15000 твітів для прогнозування настроїв, використовуючи одношаровий LSTM з 128 прихованими одиницями, використовуючи Word2vec-подібне представлення з 80 вимірами. Я отримую точність спуску (38% з випадковим = 20%) після 1 епохи. Якщо більше тренувань, точність валідації починає знижуватися, коли точність тренування починає підніматися - явна ознака надягання. Тому я …

13 deep-learning  regularization  overfitting  lstm 

Гістограми дають гарне відчуття розподілу змінної. Структури поля намагаються зробити те ж саме, але не дають гарної картини розподілу цієї змінної. Я не розумію, чому люди використовують сюжетні коробки. Гістограми краще всіляко. Чи є причина, щоб я використовував їх обох? Єдине, що я думаю, що надають сюжетні коробки, це: люди, …

13 data-visualization  histogram  boxplot 

Скажімо, я хочу перевірити, чи мають два незалежні зразки різні засоби. Я знаю, що базовий розподіл не є нормальним . Якщо я правильно розумію, моя тестова статистика - це середнє значення , а для достатньо великих розмірів вибірки середнє значення повинно стати нормально розподіленим, навіть якщо вибірки не є. Отже, …

13 t-test  central-limit-theorem  z-test 

Недбало читаючи деякі твори масового ринку з теорії хаосу протягом останніх кількох років, я почав замислюватися, як різні аспекти його можуть бути застосовані до вибору даних та суміжних областях, як нейронні мережі, розпізнавання шаблонів, управління невизначеністю тощо. На сьогоднішній день я я одержав так мало прикладів таких застосувань у опублікованому …

13 self-study  mathematical-statistics  references  data-mining  fractal