Багатопроцесорна обробка циклу for?

У мене є масив (що називається data_inputs), що містить імена сотень файлів астрономічних зображень. Потім цими зображеннями маніпулюють. Мій код працює і займає кілька секунд, щоб обробити кожне зображення. Однак він може робити лише одне зображення за раз, оскільки я запускаю масив через forцикл:

for name in data_inputs:
    sci=fits.open(name+'.fits')
    #image is manipulated

Немає жодної причини, чому мені доводиться модифікувати зображення перед будь-яким іншим, так чи можливо використовувати всі 4 ядра на моїй машині, при цьому кожне ядро ​​проходить через цикл for на іншому зображенні?

Я читав про multiprocessingмодуль, але не знаю, як його реалізувати в моєму випадку. Я прагну приступити до multiprocessingроботи, тому що врешті-решт мені доведеться запустити це на 10 000+ зображеннях.

Ви можете просто використовувати multiprocessing.Pool:

from multiprocessing import Pool

def process_image(name):
    sci=fits.open('{}.fits'.format(name))
    <process>

if __name__ == '__main__':
    pool = Pool()                         # Create a multiprocessing Pool
    pool.map(process_image, data_inputs)  # process data_inputs iterable with pool

Ви можете використовувати multiprocessing.Pool:

from multiprocessing import Pool
class Engine(object):
    def __init__(self, parameters):
        self.parameters = parameters
    def __call__(self, filename):
        sci = fits.open(filename + '.fits')
        manipulated = manipulate_image(sci, self.parameters)
        return manipulated

try:
    pool = Pool(8) # on 8 processors
    engine = Engine(my_parameters)
    data_outputs = pool.map(engine, data_inputs)
finally: # To make sure processes are closed in the end, even if errors happen
    pool.close()
    pool.join()

Як варіант

with Pool() as pool: 
    pool.map(fits.open, [name + '.fits' for name in datainput])