Приклад різних стандартизацій в python.
Для ознайомлення дивіться цю статтю у Вікіпедії:
https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation
Приклад даних
import pandas as pd
df = pd.DataFrame({
'A':[1,2,3],
'B':[100,300,500],
'C':list('abc')
})
print(df)
A B C
0 1 100 a
1 2 300 b
2 3 500 c
Нормалізація за допомогою панд (дає неупереджені оцінки)
При нормалізації ми просто віднімаємо середнє значення і ділимо на стандартне відхилення.
df.iloc[:,0:-1] = df.iloc[:,0:-1].apply(lambda x: (x-x.mean())/ x.std(), axis=0)
print(df)
A B C
0 -1.0 -1.0 a
1 0.0 0.0 b
2 1.0 1.0 c
Нормалізація за допомогою sklearn (дає необ’єктивні оцінки, відмінні від панд)
Якщо ви зробите те ж саме з sklearn
вами, ви отримаєте РІЗНИЙ вихід!
import pandas as pd
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df = pd.DataFrame({
'A':[1,2,3],
'B':[100,300,500],
'C':list('abc')
})
df.iloc[:,0:-1] = scaler.fit_transform(df.iloc[:,0:-1].to_numpy())
print(df)
A B C
0 -1.224745 -1.224745 a
1 0.000000 0.000000 b
2 1.224745 1.224745 c
Чи зміщені оцінки склеарну робить машинне навчання менш потужним?
НЕМАЄ.
В офіційній документації sklearn.preprocessing.scale зазначається, що використання упередженого оцінювача НЕПРАВИЛЬНО впливає на продуктивність алгоритмів машинного навчання, і ми можемо їх безпечно використовувати.
From official documentation:
We use a biased estimator for the standard deviation,
equivalent to numpy.std(x, ddof=0).
Note that the choice of ddof is unlikely to affect model performance.
Що щодо масштабування MinMax?
Не існує стандартного розрахунку відхилення в масштабі MinMax. Таким чином, результат однаковий як у пандах, так і в науках.
import pandas as pd
df = pd.DataFrame({
'A':[1,2,3],
'B':[100,300,500],
})
(df - df.min()) / (df.max() - df.min())
A B
0 0.0 0.0
1 0.5 0.5
2 1.0 1.0
# Using sklearn
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
arr_scaled = scaler.fit_transform(df)
print(arr_scaled)
[[0. 0. ]
[0.5 0.5]
[1. 1. ]]
df_scaled = pd.DataFrame(arr_scaled, columns=df.columns,index=df.index)
print(df_scaled)
A B
0 0.0 0.0
1 0.5 0.5
2 1.0 1.0