Як я можу зробити графік розсіювання, пофарбований щільністю в matplotlib?

Я хотів би зробити графік розсіювання, де кожна точка забарвлена ​​просторовою щільністю сусідніх точок.

Я натрапив на дуже подібне запитання, яке показує приклад цього з використанням R:

R Графік розсіяння: колір символу представляє кількість точок, що перекриваються

Який найкращий спосіб зробити щось подібне в python за допомогою matplotlib?

На додаток до hist2dабо hexbinяк запропонував @askewchan, ви можете використовувати той самий метод, що і прийнята відповідь у питанні, на яке ви посилаєтесь.

Якщо ви хочете зробити це:

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import gaussian_kde

# Generate fake data
x = np.random.normal(size=1000)
y = x * 3 + np.random.normal(size=1000)

# Calculate the point density
xy = np.vstack([x,y])
z = gaussian_kde(xy)(xy)

fig, ax = plt.subplots()
ax.scatter(x, y, c=z, s=100, edgecolor='')
plt.show()

Якщо ви хочете, щоб точки були побудовані в порядку щільності, щоб найщільніші точки завжди були зверху (подібно до зв’язаного прикладу), просто сортуйте їх за значеннями z. Тут я також буду використовувати менший розмір маркера, оскільки це виглядає дещо краще:

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import gaussian_kde

# Generate fake data
x = np.random.normal(size=1000)
y = x * 3 + np.random.normal(size=1000)

# Calculate the point density
xy = np.vstack([x,y])
z = gaussian_kde(xy)(xy)

# Sort the points by density, so that the densest points are plotted last
idx = z.argsort()
x, y, z = x[idx], y[idx], z[idx]

fig, ax = plt.subplots()
ax.scatter(x, y, c=z, s=50, edgecolor='')
plt.show()

Ви можете скласти гістограму:

import numpy as np
import matplotlib.pyplot as plt

# fake data:
a = np.random.normal(size=1000)
b = a*3 + np.random.normal(size=1000)

plt.hist2d(a, b, (50, 50), cmap=plt.cm.jet)
plt.colorbar()

Крім того, якщо кількість точок робить обчислення KDE занадто повільним, колір можна інтерполювати у np.histogram2d [Оновлення у відповідь на коментарі: Якщо ви хочете показати кольорову панель, використовуйте plt.scatter () замість ax.scatter () від plt.colorbar ()]:

import numpy as np
import matplotlib.pyplot as plt
from matplotlib import cm
from matplotlib.colors import Normalize 
from scipy.interpolate import interpn

def density_scatter( x , y, ax = None, sort = True, bins = 20, **kwargs )   :
    """
    Scatter plot colored by 2d histogram
    """
    if ax is None :
        fig , ax = plt.subplots()
    data , x_e, y_e = np.histogram2d( x, y, bins = bins, density = True )
    z = interpn( ( 0.5*(x_e[1:] + x_e[:-1]) , 0.5*(y_e[1:]+y_e[:-1]) ) , data , np.vstack([x,y]).T , method = "splinef2d", bounds_error = False)

    #To be sure to plot all data
    z[np.where(np.isnan(z))] = 0.0

    # Sort the points by density, so that the densest points are plotted last
    if sort :
        idx = z.argsort()
        x, y, z = x[idx], y[idx], z[idx]

    ax.scatter( x, y, c=z, **kwargs )

    norm = Normalize(vmin = np.min(z), vmax = np.max(z))
    cbar = fig.colorbar(cm.ScalarMappable(norm = norm), ax=ax)
    cbar.ax.set_ylabel('Density')

    return ax


if "__main__" == __name__ :

    x = np.random.normal(size=100000)
    y = x * 3 + np.random.normal(size=100000)
    density_scatter( x, y, bins = [30,30] )

Ділянка> 100 тис. Точок даних?

Загальноприйнятий відповідь , використовуючи gaussian_kde () займе багато часу. На моїй машині 100 тис. Рядків зайняли близько 11 хвилин . Тут я додам два альтернативні методи ( mpl-scatter-density і datashader ) і порівняю подані відповіді з тим самим набором даних.

Далі я використовував тестовий набір даних із 100 тис. Рядків:

import matplotlib.pyplot as plt
import numpy as np

# Fake data for testing
x = np.random.normal(size=100000)
y = x * 3 + np.random.normal(size=100000)

Порівняння вихідного та обчислювального часу

Нижче наведено порівняння різних методів.

1: mpl-scatter-density

Встановлення

pip install mpl-scatter-density

Приклад коду

import mpl_scatter_density # adds projection='scatter_density'
from matplotlib.colors import LinearSegmentedColormap

# "Viridis-like" colormap with white background
white_viridis = LinearSegmentedColormap.from_list('white_viridis', [
    (0, '#ffffff'),
    (1e-20, '#440053'),
    (0.2, '#404388'),
    (0.4, '#2a788e'),
    (0.6, '#21a784'),
    (0.8, '#78d151'),
    (1, '#fde624'),
], N=256)

def using_mpl_scatter_density(fig, x, y):
    ax = fig.add_subplot(1, 1, 1, projection='scatter_density')
    density = ax.scatter_density(x, y, cmap=white_viridis)
    fig.colorbar(density, label='Number of points per pixel')

fig = plt.figure()
using_mpl_scatter_density(fig, x, y)
plt.show()

Малювання цього зайняло 0,05 секунди:

І масштабування виглядає досить приємно:

2: datashader

• Datashader - цікавий проект. Однак підтримкою matplotlib є WIP станом на вересень 2020 року. Я встановив гілку mpl з клону nvictus :

pip install "git+https://github.com/nvictus/datashader.git@mpl"

Код (джерело dsshow тут ):

from functools import partial

import datashader as ds
from datashader.mpl_ext import dsshow
import pandas as pd

dyn = partial(ds.tf.dynspread, max_px=40, threshold=0.5)

def using_datashader(ax, x, y):

    df = pd.DataFrame(dict(x=x, y=y))
    da1 = dsshow(df, ds.Point('x', 'y'), spread_fn=dyn, aspect='auto', ax=ax)
    plt.colorbar(da1)

fig, ax = plt.subplots()
using_datashader(ax, x, y)
plt.show()

• Щоб намалювати це, знадобилося 0,83 с:

а збільшене зображення виглядає чудово!

3: scatter_with_gaussian_kde

def scatter_with_gaussian_kde(ax, x, y):
    # https://stackoverflow.com/a/20107592/3015186
    # Answer by Joel Kington

    xy = np.vstack([x, y])
    z = gaussian_kde(xy)(xy)

    ax.scatter(x, y, c=z, s=100, edgecolor='')

• На те, щоб намалювати це пішло 11 хвилин:

4: using_hist2d

import matplotlib.pyplot as plt
def using_hist2d(ax, x, y, bins=(50, 50)):
    # https://stackoverflow.com/a/20105673/3015186
    # Answer by askewchan
    ax.hist2d(x, y, bins, cmap=plt.cm.jet)

• Для виведення цих бункерів = (50,50) знадобилося 0,021 с:
• Для виведення цих бункерів = (1000,1000) знадобилося 0,173 с:
• Мінуси: збільшені дані виглядають не так добре, як у випадку з mpl-щільністю розсіювання або шейдером даних. Також вам доведеться самостійно визначати кількість смітників.

5: density_scatter

• Код , як і в відповідь з боку Гійома .
• Для того, щоб намалювати це за допомогою bins = (50,50), знадобилося 0,073 с:
• Щоб намалювати це за допомогою bins = (1000,1000), знадобилося 0,368 с: