Запитання з тегом «least-squares»

Я намагаюся вписати регресію, щоб пояснити кількість вбивств у кожному районі міста. Хоча я знаю, що мої дані слідують за розповсюдженням Пуассона, я намагався встановити OLS так: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Потім я також спробував (звичайно!) Регресію Пуассона. Проблема полягає в тому, що я маю кращі …

18 regression  least-squares  poisson-regression 

Зі вступу до статистичного навчання Джеймса та ін., Оцінка одноразової перехресної валідації (LOOCV) визначається де .CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2 Без доказу рівняння (5.2) зазначає, що для найменших квадратів або поліноміальної регресії (чи стосується це регресія лише на одній змінній мені невідомо), де " є й встроенна значення з початкових …

18 regression  self-study  cross-validation  least-squares 

Враження, яке я склав, грунтуючись на кількох прочитаних нами працях, книгах та статтях, полягає в тому, що рекомендований спосіб встановлення розподілу ймовірностей на набір даних - це використання максимальної оцінки ймовірності (MLE). Однак, як фізик, більш інтуїтивно зрозумілим способом є просто пристосування pdf моделі до емпіричного pdf даних, використовуючи найменші …

18 distributions  maximum-likelihood  least-squares  heteroscedasticity  fitting 

Я побачив цей список тут і не міг повірити, що існує стільки способів вирішити найменші квадрати. «Нормальні рівняння» на Вікіпедії , здавалося, досить прямим α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} То чому б просто не використовувати їх? Я припускав, …

17 regression  least-squares  scikit-learn 

У мене є питання про опущені змінні зміщення в логістичній та лінійній регресії. Скажімо, я опускаю деякі змінні з лінійної регресійної моделі. Прикиньте, що ці опущені змінні не співвідносяться зі змінними, які я включив у свою модель. Ці опущені змінні не зміщують коефіцієнтів у моїй моделі. Але в рамках логістичної …

17 regression  logistic  least-squares  bias 

Мені було цікаво, чи існує зв’язок між та F-тестом.R2R2R^2 Як правило , R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} і вимірює силу лінійної залежності в регресії. F-тест просто доводить гіпотезу. Чи існує взаємозв'язок між R2R2R^2 і F-тестом?

17 regression  hypothesis-testing  least-squares  goodness-of-fit 

Розглянемо стандартну проблему регресії OLS : У мене є матриці \ Y і \ X, і я хочу знайти \ B, щоб мінімізувати L = \ | \ Y- \ X \ B \ | ^ 2. Рішення задається \ hat \ B = \ argmin_ \ B \ {L …

16 regression  least-squares  ridge-regression 

На моделювання структурних рівнянь найменших квадратів (PLSR) або на часткові найменші квадрати (PLS-SEM), що означає термін "частковий"?

16 multiple-regression  least-squares  terminology  sem  partial-least-squares 

Не впевнений, чи нормалізувати це правильне слово, яке тут вживають, але я постараюся зробити все можливе, щоб проілюструвати те, що я намагаюся запитати. Тут використаний оцінювач - найменше квадратів. Припустимо, у вас , ви можете зосереджувати його навколо середнього значення де і , так що більше не впливає на оцінку …

16 regression  self-study  least-squares  regression-coefficients 

Я використовував ітеративно перезавантажені найменші квадрати (IRLS), щоб мінімізувати функції наступної форми, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) де NNN - кількість екземплярів xi∈Rxi∈Rx_i \in \mathbb{R} , m∈Rm∈Rm \in \mathbb{R} є надійною оцінкою, яку я хочу, і ρρ\rho є відповідною надійною функцією покарання. Скажімо, вона опукла (хоча …

16 estimation  least-squares  robust  irls 

Це посилання на вікіпедію перераховує низку методів виявлення гетероскедастичності залишків OLS. Мені хотілося б дізнатися, яка практична методика є більш ефективною для виявлення регіонів, постраждалих від гетеросцедастичності. Наприклад, тут центральний регіон у сюжеті OLS «Залишки проти пристосованого» має більшу дисперсію, ніж сторони сюжету (я не зовсім впевнений у фактах, але …

16 regression  least-squares  heteroscedasticity 

Я зовсім новачок у цьому, тому сподіваюся, що ви пробачте мене, якщо питання буде наївним. (Контекст: я вивчаю економетрику з книги "Економетрична теорія та методи" Девідсона та МакКіннона , і, схоже, це не пояснюють; я також роздивився оптимізаційну книгу Луенбергера, яка займається прогнозами на трохи більш просунутому рівні, але без …

16 regression  least-squares 

Сьогодні я розігрувався з невеликим набором даних і здійснив просту регресію OLS, яка, як я очікувала, вийде з-за ідеальної мультиколінеарності. Однак цього не сталося. Це означає, що моє розуміння мультиколінеарності неправильне. Моє запитання: де я помиляюся? Я думаю, що можу показати, що одна з моїх змінних є лінійною комбінацією інших. …

15 multiple-regression  least-squares  multicollinearity 

Для лінійної моделі рішення OLS забезпечує найкращий лінійний неупереджений оцінювач параметрів. Звичайно, ми можемо торгувати ухилом для меншої дисперсії, наприклад, регресія хребта Але моє запитання стосується відсутності упередженості. Чи існують якісь загальноприйняті інші оцінки, які є неупередженими, але з більшою дисперсією, ніж оцінені параметри OLS? Якби у мене був величезний …

15 regression  least-squares  linear  unbiased-estimator  blue 

Я веду презентацію про примірні лінії. У мене проста лінійна функція, y=1x+by=1x+by=1x+b . Я намагаюся отримати розрізнені точки даних, які я можу розмістити в діаграмі розкидання, що дозволить моїй лінії найкраще відповідати тому ж рівнянню. Я хотів би вивчити цю техніку або в R, або в Excel - залежно від …

15 r  regression  least-squares  excel