У мене є набір даних з величезною кількістю функцій, тому аналізу кореляційної матриці стало дуже складно. Я хочу побудувати матрицю кореляції, яку ми отримуємо за допомогою dataframe.corr()функції з бібліотеки панд. Чи є якась вбудована функція, що надається бібліотекою панд для побудови цієї матриці?

Ви можете використовувати pyplot.matshow() з matplotlib:

import matplotlib.pyplot as plt

plt.matshow(dataframe.corr())
plt.show()

Редагувати:

У коментарях був запит про те, як змінити мітки осі галочок. Ось розкішна версія, яка намальована на більший розмір фігури, має мітки осі для відповідності фрейму даних та легенду кольорової смуги для інтерпретації кольорової гами.

Я включаю, як регулювати розмір та обертання міток, і я використовую співвідношення фігур, завдяки якому кольорова смужка та основна фігура виходять однакової висоти.

f = plt.figure(figsize=(19, 15))
plt.matshow(df.corr(), fignum=f.number)
plt.xticks(range(df.shape[1]), df.columns, fontsize=14, rotation=45)
plt.yticks(range(df.shape[1]), df.columns, fontsize=14)
cb = plt.colorbar()
cb.ax.tick_params(labelsize=14)
plt.title('Correlation Matrix', fontsize=16);

Якщо ваша головна мета - візуалізація матриці кореляції, а не створення сюжету як такого, зручні pandas варіанти стилю - це життєздатне вбудоване рішення:

import pandas as pd
import numpy as np

rs = np.random.RandomState(0)
df = pd.DataFrame(rs.rand(10, 10))
corr = df.corr()
corr.style.background_gradient(cmap='coolwarm')
# 'RdBu_r' & 'BrBG' are other good diverging colormaps

Зауважте, що це повинно бути в бекенді, який підтримує HTML-рендерінг, наприклад, JupyterLab Notebook. (Автоматичний світлий текст на темному тлі походить від існуючого PR, а не останньої випущеної версії, pandas0,23).

Стилізація

Ви можете легко обмежити точність цифр:

corr.style.background_gradient(cmap='coolwarm').set_precision(2)

Або позбудьтесь цифр зовсім, якщо ви віддаєте перевагу матриці без приміток:

corr.style.background_gradient(cmap='coolwarm').set_properties(**{'font-size': '0pt'})

Документація щодо стилізації включає також інструкції більш вдосконалених стилів, наприклад, як змінити відображення комірки, на якій вказівник миші наводиться. Щоб зберегти вихід, ви можете повернути HTML, додавши render()метод, а потім записати його у файл (або просто зробити знімок екрана для менш формальних цілей).

Порівняння часу

У моєму тестуванні style.background_gradient()було в 4 рази швидше plt.matshow()і на 120 разів швидше, ніж sns.heatmap()з матрицею 10x10. На жаль, він не масштабується так plt.matshow(): двоє займають приблизно один і той же час для матриці 100x100, і plt.matshow()на 10 разів швидше для матриці 1000x1000.

Збереження

Існує кілька можливих способів збереження стилізованого кадру даних:

• Поверніть HTML, додавши render()метод, а потім запишіть вихід у файл.
• Збережіть як .xslxфайл із умовним форматуванням, додавши to_excel()метод.
• Поєднайте з imgkit, щоб зберегти растрову карту
• Зробіть знімок екрана (для менш формальних цілей).

Оновлення для панд> = 0,24

Встановивши axis=None, тепер можна обчислити кольори на основі всієї матриці, а не на стовпчику чи рядку:

corr.style.background_gradient(cmap='coolwarm', axis=None)

Спробуйте цю функцію, яка також відображає назви змінних для кореляційної матриці:

def plot_corr(df,size=10):
    '''Function plots a graphical correlation matrix for each pair of columns in the dataframe.

    Input:
        df: pandas DataFrame
        size: vertical and horizontal size of the plot'''

    corr = df.corr()
    fig, ax = plt.subplots(figsize=(size, size))
    ax.matshow(corr)
    plt.xticks(range(len(corr.columns)), corr.columns);
    plt.yticks(range(len(corr.columns)), corr.columns);

Версія теплової карти Seaborn:

import seaborn as sns
corr = dataframe.corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values)

Ви можете спостерігати за відношенням між ознаками, малюючи теплову карту від новонароджених або розкидаючи матрицю від панд.

Матриця розсіювання:

pd.scatter_matrix(dataframe, alpha = 0.3, figsize = (14,8), diagonal = 'kde');

Якщо ви хочете також візуалізувати нахил кожної функції, використовуйте парні пристрої для новонароджених.

sns.pairplot(dataframe)

Sns Heatmap:

import seaborn as sns

f, ax = pl.subplots(figsize=(10, 8))
corr = dataframe.corr()
sns.heatmap(corr, mask=np.zeros_like(corr, dtype=np.bool), cmap=sns.diverging_palette(220, 10, as_cmap=True),
            square=True, ax=ax)

Вихід буде кореляційною картою особливостей. тобто див. нижче приклад.

Кореляція між продуктовими та миючими засобами висока. Аналогічно:

1. Продукти харчування та миючі засоби.

1. Молоко та бакалія
2. Молоко та миючі засоби_ Папір

1. Молоко і делікатес
2. Заморожені та свіжі.
3. Заморожені та гастрономи.

З парних пар: Ви можете спостерігати однаковий набір відносин з парних чи матриць розсіювання. Але з цього можна сказати, що нормально розподіляються дані чи ні.

Примітка. Наведене вище - це той самий графік, узятий із даних, який використовується для складання теплової карти.

Ви можете використовувати метод imshow () від matplotlib

import pandas as pd
import matplotlib.pyplot as plt
plt.style.use('ggplot')

plt.imshow(X.corr(), cmap=plt.cm.Reds, interpolation='nearest')
plt.colorbar()
tick_marks = [i for i in range(len(X.columns))]
plt.xticks(tick_marks, X.columns, rotation='vertical')
plt.yticks(tick_marks, X.columns)
plt.show()

Якщо у вас є кадр даних, dfви можете просто використовувати:

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure(figsize=(15, 10))
sns.heatmap(df.corr(), annot=True)

графіка статмоделей також дає хороший вигляд кореляційної матриці

import statsmodels.api as sm
import matplotlib.pyplot as plt

corr = dataframe.corr()
sm.graphics.plot_corr(corr, xnames=list(corr.columns))
plt.show()

Для повноти, найпростіше рішення, яке я знаю з новонародженим , наприкінці 2019 року, якщо використовується Юпітер :

import seaborn as sns
sns.heatmap(dataframe.corr())

Поряд з іншими методами також добре мати парувальний апарат, який дасть змову розсіятись для всіх випадків,

import pandas as pd
import numpy as np
import seaborn as sns
rs = np.random.RandomState(0)
df = pd.DataFrame(rs.rand(10, 10))
sns.pairplot(df)

Форма кореляційної матриці, в моєму випадку zdf - це кадр даних, який мені потрібен для виконання кореляційної матриці.

corrMatrix =zdf.corr()
corrMatrix.to_csv('sm_zscaled_correlation_matrix.csv');
html = corrMatrix.style.background_gradient(cmap='RdBu').set_precision(2).render()

# Writing the output to a html file.
with open('test.html', 'w') as f:
   print('<!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-widthinitial-scale=1.0"><title>Document</title></head><style>table{word-break: break-all;}</style><body>' + html+'</body></html>', file=f)

Тоді ми можемо зробити скріншот. або конвертувати HTML у файл зображення.