Як створити масивний масив з генератора?

Як я можу створити масивний масив із об'єкта генератора?

Дозвольте проілюструвати проблему:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

У цьому випадку gimme()є генератором, вихід якого я хотів би перетворити на масив. Однак конструктор масиву не повторює генератор, він просто зберігає сам генератор. Я хочу, щоб поведінка була такою numpy.array(list(gimme())), але я не хочу платити за обсяг пам'яті, щоб мати проміжний список і остаточний масив в пам'яті одночасно. Чи є більш ефективний простір спосіб?

Numpy масиви вимагають, щоб їх довжина була чітко встановлена ​​під час створення, на відміну від списків python. Це необхідно для того, щоб простір для кожного елемента можна було послідовно виділяти в пам'яті. Послідовне розподіл є ключовою особливістю масивів numpy: це в поєднанні з реалізацією нативного коду дозволяє операціям над ними виконуватись набагато швидше, ніж звичайні списки.

Маючи це на увазі, технічно неможливо взяти об’єкт генератора і перетворити його на масив, якщо ви не зробили жодного з них:

1. може передбачити, скільки елементів воно вийде при запуску:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el

2. готові зберігати його елементи в проміжному списку:

   my_array = numpy.array(list(gimme()))

3. може зробити два однакових генератора, пропустити перший, щоб знайти загальну довжину, ініціалізувати масив, а потім знову запустити через генератор, щоб знайти кожен елемент:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el

1 , мабуть, те, що ви шукаєте. 2 - це неефективний простір, а 3 - неефективний у часі (вам доведеться пройти через генератор двічі).

Один google за цим результатом stackoverflow виявив, що існує a numpy.fromiter(data, dtype, count) . За замовчуванням count=-1приймаються всі елементи з ітерабельного. Для цього dtypeпотрібно встановити явно. У моєму випадку це спрацювало:

numpy.fromiter(something.generate(from_this_input), float)

Хоча ви можете створити 1D масив з генератора за допомогою numpy.fromiter(), ви можете створити ND масив з генератора за допомогою numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Він також працює для 1D масивів:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Зауважте, що numpy.stackгенератор споживає внутрішнє і створює проміжний список із arrays = [asanyarray(arr) for arr in arrays]. Реалізацію можна знайти тут .

Дещо дотична, але якщо ваш генератор - це розуміння списку, ви можете використовувати його numpy.whereдля більш ефективного отримання результату (я виявив це у власному коді, побачивши цю публікацію)

Функції vstack , hstack та dstack можуть приймати генератори вхідних даних, які дають багатовимірні масиви.