Статистика та великі дані

Вибачте за докладний фон цього питання: Іноді під час дослідження поведінки тварин експериментатора цікавить кількість часу, який випробуваний проводить у різних, заздалегідь визначених зонах, у тестовому апараті. Я часто бачив подібні дані, що аналізуються за допомогою ANOVA; однак я ніколи не був повністю переконаний у справедливості таких аналізів, враховуючи, що …

11 anova 

Я розглядав теоретичні рамки вибору методу (зауважте: не вибір моделі) і знайшов дуже мало систематизованих, математично мотивованих робіт. Під «вибором методу» я маю на увазі основу для виокремлення відповідного (або кращого, оптимального) методу щодо проблеми чи типу проблеми. Я знайшов, що це суттєва робота, що стосується конкретних методів та їх …

11 machine-learning  methodology  theory 

У мене є чотири конкуруючі моделі, які я використовую для прогнозування бінарної змінної результату (скажімо, статус зайнятості після закінчення навчання, 1 = працевлаштований, 0 = не зайнятий) для n предметів. Природним показником продуктивності моделі є показник враження, який становить відсоток правильних прогнозів для кожної з моделей. Мені здається, що я …

11 anova  chi-squared  generalized-linear-model 

Налагодження програм MCMC, як відомо, важко. Складність виникає через кілька питань, серед яких є: (а) Циклічність алгоритму Ітеративно ми намалюємо параметри, що обумовлюються всіма іншими параметрами. Таким чином, якщо реалізація не працює належним чином, важко виділити помилку, оскільки проблема може бути в будь-якому місці ітеративного пробника. (b) Правильна відповідь не …

11 mcmc 

Тож, що я читав про пророка Facebook, це те, що він в основному розбиває часові ряди на тренди та сезонність. Наприклад, модель добавки буде записана у вигляді: у( t ) = g( t ) + s ( t ) + h ( t ) + eту(т)=г(т)+с(т)+год(т)+ет y(t) = g(t) + …

11 regression  machine-learning  time-series  prophet 

Стандартна схема інструментальної змінної з точки зору причинності ( ->): Z -> X -> Y Де Z - інструмент, X - ендогенна змінна, а Y - відповідь. Чи можливо, що наступні відносини: Z <- X ->Y Z <-> X ->Y також чинні? Хоча співвідношення між інструментом та змінною задовольняється, як …

11 causality  instrumental-variables  endogeneity 

Якщо припустити, що у мене є дві незалежні випадкові величини, і я хочу максимально зменшити коваріацію між ними, не втрачаючи занадто багато "сигналу", чи означає центринг допомогу? Я десь читав, що середнє центрування зменшує кореляцію на значний фактор, тому я думаю, що це повинно зробити те ж саме для коваріації.

11 correlation  covariance  random-vector 

Моє запитання досить смислове. Коли метод звичайно дає високі значення р, він називається консервативним. Ви б назвали зворотне, тобто метод з високим коефіцієнтом помилок типу II, ліберальним?

11 hypothesis-testing  statistical-significance  p-value  terminology  type-i-and-ii-errors 

Враховуючи випадкової величини , з розподілом ймовірності , кореляційна матриця є позитивною , тобто її власними значеннями є позитивними або нульовими.nnnXiXiX_iP(X1,…,Xn)P(X1,…,Xn)P(X_1,\ldots,X_n)Cij=E[XiXj]−E[Xi]E[Xj]Cij=E[XiXj]−E[Xi]E[Xj]C_{ij}=E[X_i X_j]-E[X_i]E[X_j] Мене цікавлять умови на , необхідні та / або достатні, щоб мав нульові власні значення. Наприклад, достатньою умовою є те, що випадкові величини не є незалежними: для деяких …

11 correlation 

Я намагаюся написати функцію, яка генерує рівномірно розподілений шум, який походить від кулі p-норми розмірів:nnn ||x||p≤r||x||p≤r\begin{equation} ||x||_p \leq r \end{equation} Я знайшов можливі рішення для кіл ( ) ( http://mathworld.wolfram.com/DiskPointPicking.html ), проте у мене виникають проблеми з розширенням цього значення для різних значень .pp=2p=2p = 2ppp Я спробував це зробити, …

11 simulation  noise 

Як я зрозумів, k-NN - алгоритм ледачого учня, і йому не потрібен етап навчання. То чому нам потрібно використовувати .fit()склеарн і що відбувається, коли ми його використовуємо?

11 classification  scikit-learn  k-nearest-neighbour 

На своїй вікі-сторінці розробники компанії Stan заявляють: Деякі принципи, які нам не подобаються: інваріантність, Джефріс, ентропія Натомість я бачу багато нормальних рекомендацій щодо розповсюдження. Поки я використовував байєсівські методи, які не покладалися на вибірку, і я був щасливий, що зрозумів, чому був хорошим вибором для біноміальних ймовірностей.θ∼Beta(α=12,β=12)θ∼Beta(α=12,β=12)\theta \sim \text{Beta}\left(\alpha=\frac{1}{2},\beta=\frac{1}{2}\right)

11 bayesian  mcmc  prior  pymc  stan 

Мене цікавить сучасний стан вибору початкових насінин (центрів кластерів) для K-засобів. Гуглінг призводить до двох популярних варіантів: випадковий відбір початкових насіння, і, використовуючи техніку відбору KMeans ++: Артур та Васильвіцький 2006 k-засоби ++: Переваги дбайливого висіву насіння Чи є якісь багатообіцяючі методи, про які хтось тут знає, які можуть бути …

11 clustering  k-means 

Я розумію, що SVM полягає в тому, що він дуже схожий на логістичну регресію (LR), тобто зважена сума ознак передається сигмоїдної функції, щоб отримати ймовірність приналежності до класу, але замість перехресної ентропії (логістичної) втрати функція, тренування виконується за допомогою втрати шарніра. Перевага використання втрати шарніру полягає в тому, що можна …

11 machine-learning  logistic  svm 

Я намагаюся реалізувати алгоритм Nelder-Mead для оптимізації функції. Сторінка вікіпедії про Нелдера-Мід напрочуд чітка щодо всього алгоритму, за винятком критерію його зупинки. Там це сумно говорить: Перевірте на конвергенцію [потрібне уточнення] . Я сам випробував кілька критеріїв: Зупиніться, якщо де малий і де - -та вершина симплекса, впорядкована від низької …

11 optimization  algorithms