Статистика та великі дані

Це питання може бути дуже наївним, але те, як я навчаю економетрії, я дуже збентежений, якщо є різниця між тимчасовими рядами та методом даних на панелі. Що стосується часових рядів, я висвітлював такі теми, як коваріація стаціонарна, AR, MA та ін. Щодо даних панелей, я бачив лише дискусії у формі …

15 time-series  econometrics  panel-data 

Процедура SPSS t-Test повідомляє про 2 аналізи при порівнянні 2 незалежних засобів, один аналіз із рівними відхиленнями та один із рівними відхиленнями, які не передбачаються. Ступені свободи (df), коли приймаються рівні дисперсії, завжди є цілими значеннями (і рівними n-2). Коефіцієнт df, коли не передбачається рівних дисперсій, не є цілим числом …

15 hypothesis-testing  t-test  heteroscedasticity  degrees-of-freedom  t-distribution 

Я намагаюся зрозуміти моделі матричної факторизації для систем рекомендування, і я завжди читаю "приховані функції", але що це означає? Я знаю, що означає функція для навчального набору даних, але я не в змозі зрозуміти ідею прихованих особливостей. Кожен стаття на тему, яку я можу знайти, є занадто дрібною. Редагувати: якщо …

15 machine-learning  data-mining  recommender-system 

Я використовую KL Розбіжність в якості запобіжного несходства між 2 і .P Qp . м . f.p.м.f.p.m.f. ППPQQQ =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DКL( С|| Q)= ∑i = 1Nln( СiQi) ПiDКL(П||Q)=∑i=1Nln⁡(ПiQi)ПiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i = - ∑ Р( Xi) l n ( Q ( X)i) ) + ∑ Р( Xi) l …

15 distributions  distance  kullback-leibler 

У мене є дані про працівників великої італійської фірми за десять років, і я хотів би побачити, як гендерний розрив у доходах чоловіків і жінок змінювався з часом. Для цього я запускаю об'єднаний OLS: yit=X′itβ+δmalei+∑t=110γtdt+εityit=Xit′β+δmalei+∑t=110γtdt+εit y_{it} = X'_{it}\beta + \delta {\rm male}_i + \sum^{10}_{t=1}\gamma_t d_t + \varepsilon_{it} де yyy - …

15 hypothesis-testing  estimation  econometrics  fixed-effects-model 

Тож я грав із SVM, і мені цікаво, чи це добре робити: У мене є набір безперервних функцій (від 0 до 1) та набір категоричних ознак, які я перетворив на фіктивні змінні. У цьому конкретному випадку я кодую дату вимірювання у фіктивній змінній: У мене є три періоди, з яких …

15 categorical-data  svm  feature-selection  linear-model  feature-construction 

У мене є багатофакторний набір даних часових рядів, включаючи взаємодіючі біологічні та екологічні змінні (плюс, можливо, деякі екзогенні змінні). Крім сезонності, даних немає чіткої довгострокової тенденції. Моя мета - побачити, які змінні пов'язані між собою. Прогнозування насправді не шукали. Будучи новим у аналізі часових рядів, я прочитав кілька посилань. Наскільки …

15 r  time-series  var  seasonality 

Це питання дає кількісне визначення перехресної ентропії з точки зору її формули. Я шукаю більш понятне визначення, wikipedia говорить: В теорії інформації перехресна ентропія між двома розподілами ймовірностей вимірює середню кількість бітів, необхідних для ідентифікації події з набору можливостей, якщо використовується схема кодування на основі заданого розподілу ймовірностей q, а …

15 entropy  information-theory 

Я хотів би співставити результати lmer (дійсно glmer) із прикладом іграшкового двочлена. Я читав віньєтки і вважаю, що розумію, що відбувається. Але, мабуть, ні. Після застрягання я виправив "правду" з точки зору випадкових ефектів і пішов після оцінки фіксованих ефектів поодинці. Я включаю цей код нижче. Щоб побачити, що це …

15 r  mixed-model  optimization  lme4-nlme 

Для того, щоб CLT утримувався, нам потрібно розподіл, який ми хотіли б наблизити до середнього та кінцевої дисперсії σ 2 . Чи було б правдою сказати, що для випадку розподілу Коші, середнє значення та дисперсія якого не визначені, теорема про центральну межу не дає хорошого наближення навіть асимптотично?μμ\muσ2σ2\sigma^2

15 probability  central-limit-theorem  asymptotics  cauchy 

У Libre Office Calc rand()доступна функція, яка вибирає випадкове значення між 0 і 1 з рівномірного розподілу. Я трохи іржавий на свою ймовірність, тому, побачивши таку поведінку, я був спантеличений: A = 200х1 стовпець rand()^2 B = 200х1 стовпець rand()*rand() mean(A) = 1/3 mean(B) = 1/4 Чому так mean(A)! = …

15 expected-value  random-generation  uniform 

У мене є лінійна модель з приблизно 6 провісниками, і я буду представляти оцінки, значення F, значення p тощо. Однак мені було цікаво, що було б найкращим візуальним сюжетом для представлення індивідуального ефекту одного прогноктора змінна відповідь? Діаграма розкиду? Умовна ділянка? Ефекти сюжету? тощо? Як би я трактував цей сюжет? …

15 r  regression  data-visualization  multiple-regression  partial-plot 

Мені важко вивести гессіаном цільової функції, l(θ)l(θ)l(\theta) , в логістичної регресії , де l(θ)l(θ)l(\theta) становить: l(θ)=∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]l(θ)=∑i=1m[yilog⁡(hθ(xi))+(1−yi)log⁡(1−hθ(xi))] l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right] hθ(x)hθ(x)h_\theta(x) - логістична функція. ГессіанXTDXXTDXX^T D X . Я спробував це отримати, обчисливши∂2l(θ)∂θi∂θj∂2l(θ)∂θi∂θj\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j} , але тоді мені не було очевидно, …

15 logistic 

Скажімо, у мене є класифікатор логістичної регресії. У звичайному серійному навчанні я мав би термін регуляризатора, щоб запобігти надягання і зберегти ваги невеликими. Я б також нормалізував і масштабував свої функції. У режимі онлайн-навчання я отримую безперервний потік даних. Я оновлюю градієнтне зменшення з кожним прикладом, а потім відкидаю його. …

15 machine-learning  normalization  regularization  online 

За останні кілька тижнів я намагався зрозуміти MCMC та алгоритм (и) Metropolis-Hastings. Кожен раз, коли я думаю, що це розумію, я усвідомлюю, що я помиляюся. Більшість прикладів коду, які я вважаю, реалізують он-лайн щось, що не відповідає опису. тобто: Вони кажуть, що вони реалізують Метрополіс-Гастінгс, але насправді реалізують метрополію з …

15 mcmc  metropolis-hastings