Библиотека Python разработчика | Книги по питону

Если у вас есть ресурсоемкая задача для процессора и вы хотите использовать все доступные ядра, то multiprocessing.Pool — это то, что вам нужно. Он создает несколько процессов и автоматически распределяет между ними задачи. Просто создайте пул с Pool(number_of_processes) и выполните p.map с списком входных данных.

import math
from multiprocessing import Pool

inputs = [i ** 2 for i in range(100, 130)]

def f(x):
    return len(str(math.factorial(x)))

# Однопоточное выполнение
%timeit [f(x) for x in inputs]
# 1.44 s ± 19.2 ms per loop (...)

# Параллельное выполнение с 4 процессами
p = Pool(4)
%timeit p.map(f, inputs)
# 451 ms ± 34 ms per loop (...)

Также можно не указывать параметр number_of_processes, по умолчанию он равен количеству ядер CPU в системе.

👉@BookPython

👍8

www.tgoop.com/BookPython/3557

2.87K viewsMar 12 at 06:23

Если у вас есть ресурсоемкая задача для процессора и вы хотите использовать все доступные ядра, то multiprocessing.Pool — это то, что вам нужно. Он создает несколько процессов и автоматически распределяет между ними задачи. Просто создайте пул с Pool(number_of_processes) и выполните p.map с списком входных данных.

import math
from multiprocessing import Pool

inputs = [i ** 2 for i in range(100, 130)]

def f(x):
    return len(str(math.factorial(x)))

# Однопоточное выполнение
%timeit [f(x) for x in inputs]
# 1.44 s ± 19.2 ms per loop (...)

# Параллельное выполнение с 4 процессами
p = Pool(4)
%timeit p.map(f, inputs)
# 451 ms ± 34 ms per loop (...)

BY Библиотека Python разработчика | Книги по питону