Знаходження індексу найближчої точки в масивах Numpy з координатами x та y

Question 1

У мене є два двовимірних масиви numpy: x_array містить позиційну інформацію в напрямку x, y_array - положення в напрямку y.

Тоді я маю довгий список точок x, y.

Для кожної точки у списку мені потрібно знайти індекс масиву розташування (зазначеного в масивах), яке є найближчим до цієї точки.

Я наївно створив якийсь код, який працює, виходячи з цього питання: Знайти найближче значення в масиві numpy

тобто

import time
import numpy

def find_index_of_nearest_xy(y_array, x_array, y_point, x_point):
    distance = (y_array-y_point)**2 + (x_array-x_point)**2
    idy,idx = numpy.where(distance==distance.min())
    return idy[0],idx[0]

def do_all(y_array, x_array, points):
    store = []
    for i in xrange(points.shape[1]):
        store.append(find_index_of_nearest_xy(y_array,x_array,points[0,i],points[1,i]))
    return store


# Create some dummy data
y_array = numpy.random.random(10000).reshape(100,100)
x_array = numpy.random.random(10000).reshape(100,100)

points = numpy.random.random(10000).reshape(2,5000)

# Time how long it takes to run
start = time.time()
results = do_all(y_array, x_array, points)
end = time.time()
print 'Completed in: ',end-start

Я роблю це над великим набором даних і дуже хотів би це трохи пришвидшити. Хтось може це оптимізувати?

Дякую.

ОНОВЛЕННЯ: РІШЕННЯ за пропозиціями @silvado та @justin (нижче)

# Shoe-horn existing data for entry into KDTree routines
combined_x_y_arrays = numpy.dstack([y_array.ravel(),x_array.ravel()])[0]
points_list = list(points.transpose())


def do_kdtree(combined_x_y_arrays,points):
    mytree = scipy.spatial.cKDTree(combined_x_y_arrays)
    dist, indexes = mytree.query(points)
    return indexes

start = time.time()
results2 = do_kdtree(combined_x_y_arrays,points_list)
end = time.time()
print 'Completed in: ',end-start

Цей код вище прискорив мій код (шукаючи 5000 точок у матрицях 100x100) у 100 разів. Цікаво, що використання scipy.spatial.KDTree (замість scipy.spatial.cKDTree ) дало порівнянні терміни моєму наївному рішенню, тому, безумовно, варто використовувати версію cKDTree ...

Question 2

scipy.spatialтакож має реалізацію дерева кД: scipy.spatial.KDTree.

Як правило, підхід полягає в тому, щоб спочатку використовувати точкові дані для побудови дерева kd. Складність обчислень становить близько N log N, де N - кількість точок даних. Тоді запити діапазону та пошук найближчих сусідів можуть бути виконані із складністю журналу N. Це набагато ефективніше, ніж просто їзда на велосипеді по всіх точках (складність N).

Таким чином, якщо ви повторюєте запити діапазону або найближчих сусідів, настійно рекомендується дерево kd.

Question 3

Ось scipy.spatial.KDTreeприклад

In [1]: from scipy import spatial

In [2]: import numpy as np

In [3]: A = np.random.random((10,2))*100

In [4]: A
Out[4]:
array([[ 68.83402637,  38.07632221],
       [ 76.84704074,  24.9395109 ],
       [ 16.26715795,  98.52763827],
       [ 70.99411985,  67.31740151],
       [ 71.72452181,  24.13516764],
       [ 17.22707611,  20.65425362],
       [ 43.85122458,  21.50624882],
       [ 76.71987125,  44.95031274],
       [ 63.77341073,  78.87417774],
       [  8.45828909,  30.18426696]])

In [5]: pt = [6, 30]  # <-- the point to find

In [6]: A[spatial.KDTree(A).query(pt)[1]] # <-- the nearest point 
Out[6]: array([  8.45828909,  30.18426696])

#how it works!
In [7]: distance,index = spatial.KDTree(A).query(pt)

In [8]: distance # <-- The distances to the nearest neighbors
Out[8]: 2.4651855048258393

In [9]: index # <-- The locations of the neighbors
Out[9]: 9

#then 
In [10]: A[index]
Out[10]: array([  8.45828909,  30.18426696])

Question 4

Якщо ви можете масажувати свої дані у потрібному форматі, швидким способом є використання методів у scipy.spatial.distance:

http://docs.scipy.org/doc/scipy/reference/spatial.distance.html

Зокрема, pdistі cdistзабезпечують швидкі способи обчислення попарних відстаней.