Python багатопроцесорний безпечний запис у файл

Question 1

Я намагаюся вирішити велику числову проблему, яка включає безліч підпроблем, і я використовую багатопроцесорний модуль Python (зокрема Pool.map), щоб розділити різні незалежні підзадачі на різні ядра. Кожна підзадача включає обчислення безлічі підпроблем, і я намагаюся ефективно запам'ятати ці результати, зберігаючи їх у файлі, якщо вони ще не були обчислені в будь-якому процесі, інакше пропустимо обчислення і просто прочитаємо результати з файлу.

У мене проблеми з паралельністю з файлами: різні процеси іноді перевіряють, чи не обчислюється ще підпроблема (шукаючи файл, де будуть зберігатися результати), переконайтеся, що цього не було, запустіть обчислення, потім спробуйте записати результати в той самий файл одночасно. Як мені уникнути подібних зіткнень?

Question 2

@ GP89 згадав хороше рішення. Використовуйте чергу, щоб надіслати завдання написання до спеціального процесу, який має єдиний доступ до запису у файл. Усі інші працівники мають доступ лише для читання. Це усуне зіткнення. Ось приклад, який використовує apply_async, але він також буде працювати з картою:

import multiprocessing as mp
import time

fn = 'c:/temp/temp.txt'

def worker(arg, q):
    '''stupidly simulates long running process'''
    start = time.clock()
    s = 'this is a test'
    txt = s
    for i in range(200000):
        txt += s 
    done = time.clock() - start
    with open(fn, 'rb') as f:
        size = len(f.read())
    res = 'Process' + str(arg), str(size), done
    q.put(res)
    return res

def listener(q):
    '''listens for messages on the q, writes to file. '''

    with open(fn, 'w') as f:
        while 1:
            m = q.get()
            if m == 'kill':
                f.write('killed')
                break
            f.write(str(m) + '\n')
            f.flush()

def main():
    #must use Manager queue here, or will not work
    manager = mp.Manager()
    q = manager.Queue()    
    pool = mp.Pool(mp.cpu_count() + 2)

    #put listener to work first
    watcher = pool.apply_async(listener, (q,))

    #fire off workers
    jobs = []
    for i in range(80):
        job = pool.apply_async(worker, (i, q))
        jobs.append(job)

    # collect results from the workers through the pool result queue
    for job in jobs: 
        job.get()

    #now we are done, kill the listener
    q.put('kill')
    pool.close()
    pool.join()

if __name__ == "__main__":
   main()

Question 3

Мені здається, вам потрібно використовувати Managerтимчасово збереження результатів у списку, а потім запис результатів зі списку у файл. Також використовуйте starmapдля передачі об’єкта, який ви хочете обробити, та керованого списку. Першим кроком є побудова параметра, якому потрібно передати starmap, який включає керований список.

from multiprocessing import Manager
from multiprocessing import Pool  
import pandas as pd

def worker(row, param):
    # do something here and then append it to row
    x = param**2
    row.append(x)

if __name__ == '__main__':
    pool_parameter = [] # list of objects to process
    with Manager() as mgr:
        row = mgr.list([])

        # build list of parameters to send to starmap
        for param in pool_parameter:
            params.append([row,param])

        with Pool() as p:
            p.starmap(worker, params)

З цього моменту вам потрібно вирішити, як ви збираєтеся обробляти список. Якщо у вас тонни оперативної пам’яті та величезний набір даних, сміливо об’єднуйтесь за допомогою панд. Тоді ви можете дуже легко зберегти файл у форматі CSV або засолу.

        df = pd.concat(row, ignore_index=True)

        df.to_pickle('data.pickle')
        df.to_csv('data.csv')