Статистика та великі дані

Я намагаюся вписати регресію, щоб пояснити кількість вбивств у кожному районі міста. Хоча я знаю, що мої дані слідують за розповсюдженням Пуассона, я намагався встановити OLS так: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Потім я також спробував (звичайно!) Регресію Пуассона. Проблема полягає в тому, що я маю кращі …

18 regression  least-squares  poisson-regression 

Я вивчаю статистику і часто натрапляю на формули, що містять, logі я завжди плутаюся, якщо мені слід тлумачити це як стандартне значенняlog , тобто базу 10, або якщо в статистиці цей символ log зазвичай вважається природним журналом ln. Зокрема, я вивчаю оцінку частоти хорошого Тюрінга як приклад, але моє питання …

18 mathematical-statistics  notation  logarithm 

Я хочу порівняти два образи облич. Я підрахував їхні LBP-гістограми. Тому зараз мені потрібно порівняти ці дві гістограми і отримати щось, що дозволить сказати, наскільки ці гістограми рівні (0 - 100%). Існує багато способів вирішення цього завдання, але автори методу LBP підкреслюють (Опис обличчя з локальними бінарними візерунками: Застосування до …

18 chi-squared  histogram  image-processing 

Нехай - це стандартний броунівський рух. Нехай позначає подію і нехай де позначає функцію індикатора. Чи існує такий, що для для всіх ? Я підозрюю, що відповідь - так; Я спробував возитися з методом другого моменту, але не дуже. Чи можна це показати методом другого моменту? Або я повинен спробувати …

18 probability  self-study  moments  distributions  brownian 

Я намагаюся порівняти складну обчислювальну складність / швидкість оцінки трьох груп методів лінійної регресії, як це відмічено у Hastie et al. "Елементи статистичного навчання" (2-е видання), глава 3: Вибір підмножини Методи усадки Методи з використанням похідних напрямків введення (PCR, PLS) Порівняння може бути дуже приблизним, просто щоб дати деяку думку. …

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

Нехай і , . Яке очікування як ?X1∼U[0,1]X1∼U[0,1]X_1 \sim U[0,1]Xi∼U[Xi−1,1]Xi∼U[Xi−1,1]X_i \sim U[X_{i - 1}, 1]i=2,3,...i=2,3,...i = 2, 3,...X1X2⋯XnX1X2⋯XnX_1 X_2 \cdots X_nn→∞n→∞n \rightarrow \infty

18 mathematical-statistics  random-variable  expected-value 

Прочитавши Галіт Шмулі «Пояснити або передбачити» (2010), мене спантеличить очевидне протиріччя. Є три приміщення, Вибір моделі на основі AIC проти BIC (кінець стор. 300 - початок стор. 301): просто кажучи, AIC слід використовувати для вибору моделі, призначеної для прогнозування, тоді як BIC слід використовувати для вибору моделі для пояснення . …

18 forecasting  model-selection  feature-selection  aic  bic 

Я знаю, що для отримання продуктивності класифікатора я повинен розділити дані на навчальний / тестовий набір. Але читаючи це : Оцінюючи різні параметри ("гіперпараметри") для оцінювачів, таких як настройка C, яку необхідно встановити вручну для SVM, все ще існує ризик перевиконання тестового набору, оскільки параметри можна налаштувати до тих пір, …

18 machine-learning  cross-validation 

Я кілька разів бачив, як люди відкидають нуль у розширеному тесті Діккі-Фуллера , а потім стверджують, що він показує, що їх серія є нерухомою (на жаль, я не можу показати джерела цих тверджень, але я думаю, що подібні твердження існують тут і там у той чи інший журнал). Я стверджую, …

18 time-series  unit-root  stationarity  augmented-dickey-fuller 

Чи можу я отримати допомогу у виконанні цієї попередньої (триває) спроби отримати підшипники на еквівалентах ANOVA та REGRESSION? Я намагаюся узгодити поняття, номенклатуру та синтаксис цих двох методологій. Є багато повідомлень на цьому сайті , про їх спільності, наприклад , цього або цього , але це все-таки добре мати швидкий …

18 regression  anova  mixed-model 

У мене є інформація про статистику на вступному рівні для випускників (припустимо, я знаю математичну статистику та ймовірність на рівні бакалаврату (наприклад, Wackerly et al., Ross’s Probability) і маю деякі знання з теорії вимірювань). Нещодавно я розпочав роботу з експериментального проектування та статистичної звітності зі статистики освіти, і був розміщений …

18 effect-size  group-differences 

Я бачив і насолоджувався питанням Ознайомлення з аналізом основних компонентів , і тепер у мене є те саме питання для незалежного аналізу компонентів. Я хочу сказати, що я хочу поставити вичерпне запитання про інтуїтивні способи розуміння ICA? Я хочу це зрозуміти . Я хочу досягти мети цього. Я хочу відчути …

18 intuition  ica 

Нещодавно я виявив, як моделювати експозиції з часом, використовуючи журнал (наприклад) часу як зміщення в регресії Пуассона. Я зрозумів, що зміщення відповідає тому, що час є коваріатним з коефіцієнтом 1. Я хотів би краще зрозуміти різницю між використанням часу як зміщення або як нормального коваріату (тому оцінюючи коефіцієнт). У якій …

18 poisson-regression  predictor  offset 

У літературі я іноді натрапляю на зауваження, що вибір теоретиків, які залежать від самих даних (наприклад, Zellners g-prior), можна піддавати критиці з теоретичної точки зору. Де саме проблема, якщо попередній не обраний незалежно від даних?

18 bayesian  prior  hierarchical-bayesian 

Припустимо, я роблю K-кратну перехресну перевірку з K = 10 разів. Буде одна матриця плутанини для кожної складки. Звітуючи про результати, я повинен обчислити, що є середньою матрицею плутанини, або просто підсумовувати матриці плутанини?

18 machine-learning  cross-validation  accuracy