Необхідність центрування та стандартизації даних при регресії

Розглянемо лінійну регресію з деякою регуляризацією: Eg Знайдіть що мінімізує$x$$||Ax - b||^2+\lambda||x||_1$

Зазвичай стовпці А стандартизовані, щоб мати нульове середнє і одиничну норму, а - по центру, щоб мати нульове середнє. Хочу переконатися, чи правильно я розумію причину стандартизації та центрування.$b$

Створюючи засоби стовпців $A$ і $b$ нульових, нам більше не потрібен термін перехоплення. В іншому випадку ціль була б $||Ax-x_01-b||^2+\lambda||x||_1$ . Встановивши норми стовпців A, що дорівнює 1, ми видаляємо можливість випадку, коли тільки тому, що один стовпець A має дуже високу норму, він отримує низький коефіцієнт у $x$ , що може привести до неправильного висновку, що цей стовпчик A не "пояснює" $x$ добре.

Це міркування не зовсім суворе, але інтуїтивно, це правильний спосіб думати?

Ви вірно оцінюєте нульове значення стовпців і b .$A$$b$

Однак, що стосується коригування норм стовпців , подумайте, що було б, якщо ви почали би з нормованого A , і всі елементи х мали приблизно однакову величину. Тоді помножимо один стовпець на, скажімо, 10 - 6 . Відповідний елемент х буде, в нерегульованих регресії, збільшується на коефіцієнт 10 6 . Подивіться, що буде з терміном регуляризації? Для всіх практичних цілей регуляризація застосовуватиметься лише до цього одного коефіцієнта. $A$$A$$x$$10^{-6}$$x$$10^6$

Нормативуючи стовпці , ми, пишемо інтуїтивно, ставимо їх усі в одній шкалі. Отже, відмінності у величинах елементів x безпосередньо пов'язані з «хитливістю» пояснювальної функції ( A x ), тобто, слабко кажучи, тим, що регуляризація намагається контролювати. Без цього значення коефіцієнта, наприклад, 0,1 проти іншого 10,0, не скаже вам, за відсутності знань про A , нічого про те, який коефіцієнт найбільше сприяв «химерності» A x . (Для лінійної функції, на зразок A x , "wiggliness" пов'язаний з відхиленням від 0.)$A$$x$$Ax$$A$$Ax$$Ax$

$A$$x$$A$$x$$A$$x$