Які алгоритми потребують масштабування функцій, крім SVM?

Я працюю з багатьма алгоритмами: RandomForest, DecisionTrees, NaiveBayes, SVM (ядро = лінійне та rbf), KNN, LDA та XGBoost. Усі вони були досить швидкими, за винятком SVM. Саме тоді я дізнався, що для швидшого роботи потрібне масштабування функцій. Тоді я задумався, чи варто робити те ж саме для інших алгоритмів.

Взагалі, алгоритми, що експлуатують відстані або подібність (наприклад, у вигляді скалярного продукту) між зразками даних, такими як k-NN та SVM, чутливі до перетворень ознак.

Класифікатори на основі графічної моделі, такі як Fisher LDA або Naive Bayes, а також дерева рішень і методи ансамблю на основі дерева (RF, XGB) є інваріантними для масштабування функцій, але все-таки може бути хорошою ідеєю змінити масштаб / стандартизувати свої дані. .

Ось список, який я знайшов на веб-сайті http://www.dataschool.io/comparing-supervisor-learning-algorithms/ із зазначенням того, який класифікатор потребує масштабування функції :

Повний стіл:

У кластеризації k-означає, що вам також потрібно нормалізувати вхід .

Окрім того, чи враховує, чи використовує класифікатор відстані чи схожість, як згадував Єлл Бонд, стохастичний градієнтний спуск також чутливий до масштабування функцій (оскільки швидкість навчання в рівнянні оновлення Stochastic Gradient Descent однакова для кожного параметра {1}):

---

Список літератури:

• {1} Елкан, Чарльз. "Лінійки журналів і умовні випадкові поля." Навчальні записки на CIKM 8 (2008). https://scholar.google.com/scholar?cluster=5802800304608191219&hl=uk&as_sdt=0,22 ; https://pdfs.semanticscholar.org/b971/0868004ec688c4ca87aa1fec7ffb7a2d01d8.pdf

$$Y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \epsilon_i$$ $i=1, \dots, n$ $$x_i^* = (x_i - \bar{x})/\text{sd}(x) \\ z_i^* = (z_i - \bar{z})/\text{sd}(z)$$ $$Y_i = \beta_0^* + \beta_1^* x_i^* + \beta_2^* z_i^* + \epsilon_i$$ $\beta_{1,2}^*$$\hat{\beta}_{1,2}$ $$\beta_0=\beta_0^* - \frac{\beta_1^* \bar{x}}{\text{sd(x)}} -\frac{\beta_2^*\bar{z}}{\text{sd(z)}},\quad \beta_1 =\frac{\beta_1^*}{\text{sd(x)}},\quad \beta_2=\frac{\beta_2^*}{\text{sd(z)}}$$ So standardization is not a necessary part of modelling. (It might still be done for other reasons, which we do not cover here). This answer depends also upon us using ordinary least squares. For some other fitting methods, such as ridge or lasso, standardization is important, because we loose this invariance we have with least squares. This is easy to see: both lasso and ridge do regularization based on the size of the betas, so any transformation which change the relative sizes of the betas will change the result!

And this discussion for the case of linear regression tells you what you should look after in other cases: Is there invariance, or is it not? Generally, methods which depends on distance measures among the predictors will not show invariance, so standardization is important. Another example will be clustering.