Python-сообщество

kampella · Апрель 10, 2015 23:11:34

Нужно спарсить 100 страниц каждой категории.
Я создаю поток:

thread = threading.Thread(target=Parse.Parser, args = (category, ))

Как можно без использования очередей создать пул, к примеру из 10 потоков, и распределить им парсинг этих 100 страниц?

doza_and · Апрель 11, 2015 09:07:08

kampella
Как можно без использования

Уже много раз в разных контекстах встречал постановку именно в таком виде. Как сделать что-то без использования XXX. И каждый раз никаких пояснений почему не устраивает XXX. Как отвечать на такой вопрос, когда непонятно что вас не устраивает в существующем решении? Если не описана проблема, как предлагать способы ее решения? Надеюсь понятно выразился.

Пул потоков конечно нет необходимости создавать. Если задачи известны, создаете спиcок потоков из 10 элементов, делаете список из задач task_list и руками назначаете задачи потокам

thrd=[...]
task_list=[...]
thrd[0].tasks=task_list[0:10]
thrd[1].tasks=task_list[10:20]
....

1. При этом естественно может пострадать балансировка загрузки процессоров, Если задачи неравноценные и некоторые треды закончат обработку раньше других.
2. А парсер у вас на чем написан? Не исключено, что тут лучше использовать multiprocessing. см GIL

Отредактировано doza_and (Апрель 11, 2015 09:10:05)

kampella · Апрель 11, 2015 10:47:13

В случае очередей придется для каждой категории генерировать очередь тасков (кол-во страниц для парсинга). Учитывая что кол-во страниц в каждой категории - статичное число, я подумал будет избыточным каждый раз генерировать заново очередь.

Python-сообщество

Уведомления

#1 Апрель 10, 2015 23:11:34

Как грамотно распределить таски в тредах

#2 Апрель 11, 2015 09:07:08

Как грамотно распределить таски в тредах

#3 Апрель 11, 2015 10:47:13

Как грамотно распределить таски в тредах

Board footer