Статистика та великі дані

В неділю 3 - конспектів в класі Coursera Machine Learning Ендрю Нг , термін додається до функції вартості реалізації впорядкування: J+(θ)=J(θ)+λ2m∑j=1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 У конспектах лекції сказано: Ми також могли б регулювати всі наші тета-параметри в одному підсумку: м янθ 12 м [∑i = 1м(годθ(х( i …

10 regularization 

В останній роботі WaveNet автори посилаються на свою модель як зі складеними шарами розширених згортків. Вони також створюють наступні діаграми, пояснюючи різницю між "регулярними" згортками та розширеними згортками. Регулярні звивини виглядають так: Це згортання з розміром фільтра 2 та кроком 1, повторюваним у 4 шари. Потім вони показують архітектуру, використану …

10 neural-networks  deep-learning  conv-neural-network  tensorflow 

Намагаючись зрозуміти взаємозв'язок між перехресною ентропією та недоумінням. Загалом для моделі M , Perplexity (M) = 2 ^ ентропія (M) . Чи стосується ця залежність для всіх різних n-грамів, тобто уніграма, біграми тощо?

10 natural-language  entropy  perplexity 

Стандартна похибка пропорції буде найбільшою, вона може бути для даного N, коли пропорційна частка дорівнює 0,5, і зменшується, чим далі пропорція становить 0,5. Я бачу, чому це так, коли я дивлюсь на рівняння для стандартної похибки пропорції, але далі я не можу пояснити це. Чи є пояснення поза математичними властивостями …

10 standard-error  proportion  intuition 

Я хочу оцінити розбіжність KL між двома безперервними розподілами f і g. Однак я не можу записати щільність ні для f, ні для g. Я можу зробити вибірку з f та g за допомогою якогось методу (наприклад, markov chain monte carlo). Розбіжність KL від f до g визначається так DKL(f||g)=∫∞−∞f(x)log(f(x)g(x))dxDKL(f||g)=∫−∞∞f(x)log⁡(f(x)g(x))dxD_{KL}(f …

10 kullback-leibler 

Де я можу знайти доказ теореми Пітмана – Коопмана – Дармуа? Я гуглю досить довгий час. Як не дивно, багато приміток згадують цю теорему, але жодна з них не підтверджує.

10 mathematical-statistics  references  inference  sufficient-statistics 

У мене є набір даних із трьома змінними, де всі змінні є кількісними. Нехай називаємо це , та . Я підганяю регресійну модель в байєсівській перспективі через MCMCуyyх1x1x_1х2x2x_2rjags Я зробив дослідницький аналіз, і розсіювання дозволяє припустити використання квадратичного терміна. Тоді я прилаштував дві моделіу×х2y×x2y\times x_2 (1)у=β0+β1∗х1+β2∗х2у=β0+β1∗х1+β2∗х2y=\beta_0+\beta_1*x_1+\beta_2*x_2 (2)у=β0+β1∗ x 1 +β2∗х2+β3∗х1х2+β4∗х21+β5∗х22у=β0+β1∗х1+β2∗х2+β3∗х1х2+β4∗х12+β5∗х22y=\beta_0+\beta_1*x1+\beta_2*x_2+\beta_3*x_1x_2+\beta_4*x_1^2+\beta_5*x_2^2 …

10 bayesian  feature-selection  model-selection  model  credible-interval 

Уявіть, що ми маємо лінійну регресійну модель із залежною змінною . Знаходимо його . Тепер ми робимо ще одну регресію, але цього разу на і аналогічно знаходимо її . Мені сказали, що я не можу порівняти обидва щоб побачити, яка модель краще підходить. Чому так? Причиною мені було те, що …

10 regression  data-transformation  r-squared 

Якщо я використовую Jeffreys раніше для параметра біноміальної ймовірності θθ\theta то це означає використання a θ∼beta(1/2,1/2)θ∼beta(1/2,1/2)\theta \sim beta(1/2,1/2) розповсюдження. Якщо я перетворяться на нову систему відліку ϕ=θ2ϕ=θ2\phi = \theta^2 то чітко ϕϕ\phi також не поширюється як beta(1/2,1/2)beta(1/2,1/2)beta(1/2,1/2) розповсюдження. Моє запитання в тому, в чому сенс Джеффрі інваріантний репараметеризації? Я думаю, …

10 bayesian  jeffreys-prior 

Чи існує багатоваріантна альтернатива двопробному тесту Колмогорова-Смірнова ? Я маю на увазі тест, який можна використовувати для перевірки, коли два основні багатовимірні розподіли відрізняються.

10 hypothesis-testing  multivariate-analysis  kolmogorov-smirnov 

Мені цікаво, чи завжди стандартне відхилення будувалося на припущенні про нормальний розподіл. Іншими словами, якщо вибірка нормально не розподіляється, чи слід вважати використання стандартного відхилення помилкою?

10 normal-distribution  standard-deviation 

У мене є набір даних із стовпцями a b c(3 атрибути). aє чисельною і безперервним в той час як bі cкатегорично кожен з двома рівнями. Я використовую метод K-Найближчих сусідів для класифікації aта bввімкнення c. Отже, щоб можна було виміряти відстані, я перетворюю свій набір даних, видаляючи bта додаючи b.level1і …

10 r  classification  k-nearest-neighbour 

Я щойно запускав FA за допомогою косого обертання (promax), і елемент давав коефіцієнт завантаження 1,041 на один коефіцієнт (і множинні коефіцієнти -131, -.119 та .065 на інші фактори за допомогою матриці шаблону ) . І я не впевнений, що це означає, я подумав, що це може бути лише між -1 …

10 pca  factor-analysis  factor-rotation 

У цьому популярному питанні відповідь з високою оцінкою робить MLE та Baum Welch відокремленими у підході до HMM. Для тренувальної задачі ми можемо використовувати наступні 3 алгоритми: MLE (максимальна оцінка ймовірності), навчання Вітербі (НЕ плутати з декодуванням Вітербі), Baum Welch = алгоритм вперед-назад. АЛЕ у Вікіпедії , йдеться Алгоритм Баума-Уелча …

10 hidden-markov-model  expectation-maximization 

У роботі "Швидше RCNN", коли йдеться про анкерування, що вони означають, використовуючи "піраміди посилальних коробок" і як це робиться? Чи це просто означає, що в кожній з анкерних точок W * H * k формується обмежувальне поле? Де W = ширина, H = висота і k = кількість співвідношень сторін …

10 deep-learning  computer-vision