Різниця між вибором функцій на основі "F регресії" та на основі значень

Чи порівнюють функції, використовуючи F-regressionте саме, що співвідносити функції з міткою окремо і дотримуватися значення ?$R^2$

Я часто бачив, як мої колеги використовують F regressionдля вибору функцій у своєму трубопроводі машинного навчання sklearn:

sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)`  

Деякі, будь ласка, скажіть мені - чому це дає ті ж результати, що і лише співвідносивши його зі змінною label / залежно?

Незрозуміло мені перевагу використання F_regressionу виборі функцій.

Ось мій код: я використовую mtcarsнабір даних від R:

import pandas as pd
import numpy as np
from sklearn import feature_selection
from sklearn.linear_model import LinearRegression

#....load mtcars dataset into a pandas dataframe called "df", not shown here for conciseness

# only using these numerical columns as features ['mpg', 'disp', 'drat', 'wt']
# using this column as the label:  ['qsec']

model = feature_selection.SelectKBest(score_func=feature_selection.f_regression,\
                                      k=4)

results = model.fit(df[columns], df['qsec'])

print results.scores_
print results.pvalues_

# Using just correlation coefficient:

columns = ['mpg', 'disp', 'drat', 'wt']
for col in columns:
    lm = LinearRegression(fit_intercept=True)
    lm.fit(df[[col]], df['qsec'])
    print lm.score(df[[col]], df['qsec'])

Як підозрюється, рейтинг характеристик точно такий же:

scores using f_regression:

[ 6.376702    6.95008354  0.25164249  0.94460378]


 scores using coefficient of determination:

0.175296320261  
0.18809385182
0.00831830818303
0.0305256382746

Як бачимо, друга особливість займає найвищий рівень, перша особливість - друга, четверта особливість - третя, а третя - остання, в обох випадках.

Чи коли-небудь траплявся випадок, коли F_regressionдавав би різні результати, або в чомусь різнив би риси?

EDIT: Підводячи підсумок, я хотів би знати, чи дають ці два рейтингові функції різні результати:

1) класифікація ознак за їх F-статистикою, коли регресує їх з результатом окремо (це те, що робить sklearn) І,

2) класифікація ознак за значенням R-квадрата при регресуванні їх з результатом, знову ж таки індивідуально.

TL: DR

Різниці не буде, якщо F-regressionпросто обчислити статистику F і вибрати найкращі функції. У рейтингу може бути різниця, якщо припускати F-regressionнаступне:

• Почніть з постійної моделі, $M_0$
• Спробуйте всі моделі що складаються лише з однієї функції, і виберіть найкращу відповідно до статистики F$M_1$
• Спробуйте всі моделі що складаються з M 1 плюс ще одну функцію та виберіть найкращу ...$M_2$$M_1$

Оскільки кореляція буде не однаковою при кожній ітерації. Але ви все одно можете отримати цей рейтинг, просто обчисливши кореляцію на кожному кроці, так чому ж F-regressionробиться додатковий крок? Це робить дві речі:

• Вибір функцій: Якщо ви хочете вибрати найкращі функції в конвеєрі машинного навчання, де ви дбаєте лише про точність та вживаєте заходи щодо коригування під / переозброєння, вам може бути цікавим лише рейтинг і додаткові обчислення не корисні.$k$
• Тест на значимість: Якщо ви намагаєтесь зрозуміти вплив деяких змінних на вихід у процесі дослідження, можливо, ви хочете побудувати лінійну модель і включити лише змінні, які значно покращують вашу модель, стосовно деякої значення . Ось, корисно.$p$F-regression

---

Що таке F-тест

F-тест (Вікіпедія) є способом порівняння значущості поліпшення моделі, в зв'язку з додаванням нових змінних. Ви можете використовувати його, коли ви маєте базову модель і більш складну модель M 1 , яка містить всі змінні від M 0 і деякі інші. F-тест повідомляє, чи M 1 значно кращий за M 0 , стосовно p -значення.$M_0$$M_1$$M_0$$M_1$$M_0$$p$

Для цього він використовує залишкову суму квадратів як міру помилки та порівнює помилку з кількістю доданих змінних та кількістю спостереження (детальніше у Вікіпедії ). Додавання змінних, навіть якщо вони є абсолютно випадковими, очікується, що завжди допоможе моделі досягти меншої помилки, додавши інший вимір. Мета полягає в тому, щоб з’ясувати, чи справді нові функції справді корисні чи вони є випадковими числами, але все ж допомагають моделі, оскільки вони додають виміру.

---

Що f_regressionробити

Зауважте, що я не знайомий із впровадженням Scikit, але спробуємо розібратися, що f_regressionробить. У документації зазначено, що процедура є послідовною. Якщо слово "послідовне" означає те саме, що і в інших статистичних пакетах, таких як вибір послідовних функцій Matlab , ось, як я очікував, воно продовжить:

• Почніть з постійної моделі, M $M_0$
• Спробуйте всі моделі M 1,$M_1$
• Спробуйте всі моделі M 2, що складаються з M 1$M_2$$M_1$

На даний момент я думаю, що це досить близький наближення, щоб відповісти на ваше запитання; чи є різниця між рейтингом f_regressionта рейтингом за кореляцією.

$M_0$$M_1$f_regression$M_0$$M_1$$M_2$

$x_1, x_2, x_3$$x_1$$x_2$$y$$x_3$$y$$x_1$$x_2$$x_1$$M_1$$x_2$$x_3$$M_2$$x_2$$x_3$$y$$x_1$$x_2$

$M_0$f_regression

---

$p$$k$

---

Додатковий матеріал: Ось вступ до F-тесту, який може бути корисним

Я провів деякий час, переглядаючи вихідний код Scikit , щоб зрозуміти, що f_regressionробить, і я хотів би розмістити свої спостереження тут.

Первісне питання:

Питання : Чи SelectKBest(f_regression, k = 4)дає такий же результат, як використання LinearRegression(fit_intercept=True)та вибір перших 4 функцій з найвищими показниками?

Відповідь - так . Більше того, відносне впорядкування, задане балами, однакове.

f_regression$X$$y$$X[:, i]$$y$

$$\rho_i = \frac{(X[:, i] - mean(X[:, i])) * (y - mean(y))}{std(X[:, i]) * std(y)}.$$ $$F_i = \frac{\rho_i^2}{1 - \rho_i^2}*(n-2),$$ $n = len(y)$centerFalse$n-1$SelectKBest$k$$X$з найвищими показниками. Немає послідовної програми чи нічого, а також значення p не використовується.

$R_i^2$LinearRegression$X[:, i]$$y$$R_i^2 = \rho_i^2$

$$R_i^2 < R_j^2 \Leftrightarrow \frac{\rho_i^2}{1 - \rho_i^2} < \frac{\rho_j^2}{1 - \rho_j^2} \Leftrightarrow F_i < F_j.$$ f_regressionLinearRegressionSelectKBest