Запитання з тегом «least-squares»

Я новачок у машинному навчанні та намагаюся навчитися цьому самостійно. Нещодавно я читав деякі конспекти лекцій і мав основне запитання. Слайд 13 говорить, що "Оцінка найменшої площі така ж, як Максимальна оцінка ймовірності за моделлю Гаусса". Здається, це щось просте, але я цього не бачу. Може хтось, будь ласка, пояснить, …

26 regression  bayesian  least-squares 

У простій регресійній моделі y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, OLS-оцінки та співвідносяться.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} Формула кореляції між двома оцінювачами є (якщо я правильно її вивів): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Запитання: Яке інтуїтивне пояснення наявності кореляції? Чи має наявність кореляції важливі наслідки? Повідомлення було відредаговано, і твердження …

25 regression  least-squares  estimators 

ANOVA проти множинної лінійної регресії? Я розумію, що обидва ці методи, здається, використовують однакову статистичну модель. Однак за яких обставин слід використовувати який метод? Які переваги та недоліки цих методів у порівнянні? Чому ANOVA так часто використовується в експериментальних дослідженнях, і я навряд чи знайду регресійне дослідження?

24 anova  multiple-regression  least-squares 

Якщо найкращим лінійним наближенням (з використанням найменших квадратів) моїх точок даних є лінія y=mx+by=mx+by=mx+b , то як я можу обчислити похибку наближення? Якщо я обчислюю стандартне відхилення відмінностей між спостереженнями та прогнозами , чи можу я пізніше сказати, що до інтервалу належить реальне (але не спостережуване) значення ( ) з …

24 regression  normal-distribution  least-squares  prediction-interval 

Яке алгебраїчне позначення для обчислення інтервалу передбачення для множинної регресії? Це звучить нерозумно, але у мене виникають проблеми з пошуку чіткого алгебраїчного позначення цього.

24 multiple-regression  least-squares  prediction-interval 

Питання дуже просте: чому, намагаючись пристосувати модель до наших даних, лінійних чи нелінійних, ми зазвичай намагаємось мінімізувати суму квадратів помилок, щоб отримати наш оцінювач для параметра моделі? Чому б не вибрати якусь іншу цільову функцію для мінімізації? Я розумію, що з технічних причин квадратична функція є кращою, ніж деякі інші …

23 econometrics  least-squares 

Коли ми робимо кілька регресій і кажемо, що ми дивимось на середню зміну змінної yyy для зміни змінної xxx , тримаючи всі інші змінні постійними, за яких значень ми тримаємо інші змінні постійними? Їхнє значення? Нуль? Будь-яке значення? Я схильний думати, що це має будь-яку цінність; просто шукаю роз'яснення. Якби …

22 multiple-regression  interpretation  least-squares  regression-coefficients  controlling-for-a-variable 

Окрім деяких унікальних обставин, коли ми абсолютно повинні розуміти умовно-середній взаємозв'язок, які існують ситуації, коли дослідник повинен обрати OLS над квантильною регресією? Я не хочу, щоб відповідь була "якщо немає користі в розумінні хвостових відносин", оскільки ми могли просто використовувати середню регресію в якості замінника OLS.

22 least-squares  econometrics  regression-strategies  quantile-regression  semiparametric 

На сторінці 204, розділ 4, "Розпізнавання образів та машинне навчання" від Bishop є зображення, де я не розумію, чому рішення "Найменший квадрат" дає тут погані результати: У попередньому параграфі було сказано про те, що рішення з найменшими квадратами не мають надійності для людей, що випадають, як ви бачите на наступному …

21 classification  least-squares 

У світлі цього питання: Доказ того, що коефіцієнти в моделі OLS відповідають t-розподілу з (nk) ступенем свободи Я хотів би зрозуміти, чому F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, де - кількість параметрів моделі та кількість спостережень, а загальна дисперсія, залишкова дисперсія, слід розподілу .pppnnnTSSTSSTSSRSSRSSRSSFp−1,n−pFp−1,n−pF_{p-1,n-p} Я мушу визнати, що навіть не намагався довести …

20 regression  hypothesis-testing  least-squares  f-distribution  f-statistic 

Я знаю, як обчислити PCA та SVD математично, і я знаю, що обидва можна застосувати до регресії лінійних найменших квадратів. Основна перевага SVD математично виглядає в тому, що він може бути застосований до не квадратних матриць. Обидва фокусуються на розкладанні матриціОкрім переваги зазначеного SVD, чи є додаткові переваги чи розуміння, …

20 pca  least-squares  svd 

Нещодавно я виявив, що в літературі з прикладної економетрики, коли вирішуються проблеми вибору особливостей, не рідкість виконувати LASSO з наступною регресією OLS з використанням вибраних змінних. Мені було цікаво, як можна визначити обгрунтованість такої процедури. Чи це спричинить неприємності, такі як опущені змінні? Будь-які докази, що показують, що це ефективніше, …

20 regression  feature-selection  econometrics  least-squares  lasso 

Я починаю з моєї регресії OLS: де D - фіктивна змінна, оцінки стають різними від нуля з низьким р-значенням. Потім я заздалегідь підготую тест Рамзі RESET і виявляю, що у мене є деяка помилка рівняння, я таким чином включаю квадрат x: y = β 0 + β 1 x 1 …

20 regression  multiple-regression  interpretation  least-squares  polynomial 

Я читаю це твердження на одному старому істинному / хибному іспиті: Ми можемо отримати декілька локальних оптимальних рішень, якщо вирішити задачу лінійної регресії шляхом мінімізації суми помилок у квадраті за допомогою градієнтного спуску. Рішення: помилкове Моє запитання, яка частина цього питання неправильна? Чому це твердження хибне?

19 least-squares  gradient-descent  convex 

Якщо є повним рангом, існує обернена , і ми отримуємо оцінку найменших квадратів: таХ Т Х β = ( Х Т Х ) - 1 х Y вар ( β ) = σ 2 ( Х Т Х ) - 1XXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Як можна інтуїтивно пояснити у …

18 regression  variance  least-squares