Запитання з тегом «regression»

Я припускаю загальну настройку регресії, тобто безперервну функцію hθ:X→Rnhθ:X→Rnh_\theta:X\to \mathbb R^n вибирається з родини {hθ}θ{hθ}θ\{h_\theta\}_\theta відповідно до заданих даних (xi,yi)∈X×Rn,i=1,…,k(xi,yi)∈X×Rn,i=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, k (XXX може бути будь-який простір, наприклад куб [0,1]m[0,1]m[0,1]^m або насправді будь-який розумний топологічний простір) за деякими природними критеріями. Чи є додатки регресії, де хтось цікавиться …

9 regression  machine-learning  multiple-regression 

Використовуючи ревізію k-кратного для вибору серед регресійних моделей, я зазвичай обчислюю похибку CV окремо для кожної моделі разом із її стандартною помилкою SE, і я вибираю найпростішу модель в межах 1 SE від моделі з найнижчою помилкою CV (1 стандартне правило помилок, див. наприклад тут ). Однак мені нещодавно сказали, …

9 regression  cross-validation  model-selection 

Розглянемо модель лінійної регресії: де , тобто , Розподіл Лапласа з параметром середнього та масштабу, взаємно незалежні. Розглянемо оцінку максимальної вірогідності невідомого параметра : з якого yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b)000bbbββ\boldsymbol \beta−logp(y∣X,β,b)=nlog(2b)+1b∑i=1n|xi⋅β−yi|−log⁡p(y∣X,β,b)=nlog⁡(2b)+1b∑i=1n|xi⋅β−yi| -\log p(\mathbf y …

9 regression  laplace-distribution 

У цій роботі ( Байєсівські умовиводи про варіаційні компоненти, що використовують лише контрасти помилок , Harville, 1974), автор стверджує бути "добре відомим співвідношення ", для лінійної регресії де (y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). Як це добре відомо? Який найпростіший спосіб довести це?

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

Я читав у книзі машинного навчання, що параметри лінійної регресії можна оцінити (серед інших методів) за допомогою градієнтного спуску, тоді як параметри логістичної регресії зазвичай оцінюються за максимальною оцінкою ймовірності. Чи можна пояснити новакові (мені), чому нам потрібні різні методи для лінійної / логістичної регресії. а чому б не MLE …

9 regression  logistic  maximum-likelihood 

У моєму економетричному підручнику (Вступна економетрика), що охоплює OLS, автор пише: "SSR повинен впасти, коли додається ще одна пояснювальна змінна". Чому це?

9 regression  optimization  econometrics  intuition  sums-of-squares 

Запитання: Чи неправильні лінійні моделі використовуються на практиці чи це якась цікавість, яка час від часу описується в наукових журналах? Якщо так, то в яких районах вони використовуються? Чи є інші приклади таких моделей? Нарешті, чи були б стандартні помилки, -значення, тощо, взяті з OLS для таких моделей, правильними, чи …

9 regression  references  linear-model  robust 

Я читав про основи основного компонентного аналізу з tutorial1 , link1 і LINK2 . У мене є набір даних зі 100 змінних (включаючи вихідну змінну Y), я хочу зменшити змінні до 40 за PCA, а потім передбачити змінну Y за допомогою цих 40 змінних. Проблема 1: Після отримання основних компонентів …

9 regression  pca 

Як слід зрозуміти anovaрезультат при порівнянні двох моделей? Приклад: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** На сторінці сторінки зазначено: "Обчислити аналіз дисперсійних (або відхильних) таблиць для одного або декількох пристосованих об'єктів моделі." Однак професор зазначив, що це …

9 r  regression  anova 

Іноді ми припускаємо, що регресори є фіксованими, тобто вони нестахастичні. Я думаю, що це означає, що всі наші прогноктори, оцінки параметрів і т. Д. Тоді безумовні, правда? Чи можу я навіть зайти так далеко, що вони більше не є випадковими змінними? Якщо, з іншого боку, ми погоджуємось, що більшість регресорів …

9 regression  inference  philosophical  conditioning  ancillary-statistics 

Я намагаюсь передбачити балансову оцінку і спробував кілька різних методів регресії. Одне, що я помітив, - це те, що передбачувані значення, здається, мають якусь верхню межу. Тобто фактичний баланс знаходиться у , але мої прогнози становлять приблизно . Наступний графік показує фактичний та передбачуваний баланс (прогнозований з лінійною регресією):[0.0,1.0)[0.0,1.0)[0.0, 1.0)0.80.80.8 …

9 regression  distributions  data-transformation  prediction  bounds 

Я використовую цю decomposeфункцію Rі придумую 3 компоненти мого щомісячного часового ряду (тренд, сезонний та випадковий). Якщо будувати графік або дивитись у таблицю, я чітко бачу, що на часовий ряд впливає сезонність. Однак, коли я регресую часовий ряд на 11 сезонних фіктивних змінних, всі коефіцієнти не є статистично значущими, що …

9 r  regression  time-series 

Я розумію, що навіть регресія не дає причинності. Він може давати асоціацію лише між змінною y та x змінними та, можливо, напрямом. Я прав? Я часто знаходив фрази, схожі на "x прогнозує у", навіть у більшості підручників курсу та на різних сторінках курсу в Інтернеті. І ви часто називаєте регресорів …

9 regression  logistic  predictive-models  terminology  causality 

Викладач мого університету поставив таке запитання (не для домашніх завдань, оскільки закінчився клас, і я не був у ньому). Я не можу зрозуміти, як підійти до цього. Питання стосується 2 пакетиків, кожен з яких містить асортимент різних видів фруктів: Перший мішок містить наступні випадково відібрані фрукти: + ------------- + -------- …

9 regression  estimation 

У багатовимірному регресійному аналізі здається, що люди використовують різні визначення коригуваних коефіцієнтів шансів. Чи можете ви мені пояснити, що таке коригувана АБО і чим вона відрізняється від АБО ? Дякую!

9 regression  multivariate-analysis  odds-ratio