Python-сообщество

Так как я пока не понимаю концепсию асинхрона, паршу по старинке в 100~ потоков. И вот назрел вопрос стоитли для каждого потока создавать список redis (rpush) или просто дергать из единого списка? Ну и писать в один список или писать в каждый из отдельных .

Зачем Вам тогда Redis, если у каждого потока всё равно будет своя очередь задач?
Обычно межпроцессное взаимодействие реализуется с одной общей очередью.

Чтобы постоянно не дергать сеть, процесс может брать из очереди больше одного элемента за один раз:
http://stackoverflow.com/questions/20621775/pop-multiple-values-from-redis-data-structure-atomically

0xhD
Так как я пока не понимаю концепсию асинхрона, паршу по старинке в 100~ потоков

Сам по себе асинхронный подход мало что даст в плане производительности (на практике) без комбинации его с многопроцессной моделью.

Выходит примерно так: запущено много-много процессов, каждый работает на асинхронной модели, процессы читают и пишут задачи из одной и той же очереди (здесь-то как раз и нужен Redis для более простого масштабирования).

Причем процессы не обязательно запущены на одном единственном сервере.

Отредактировано john123 (Март 29, 2015 18:51:49)

Наверное немножко не в тему, но может кто-то знает как парсить видео с сайтов?

Отредактировано csergius (Апрель 30, 2019 01:01:06)

csergius
может кто-то знает как парсить видео с сайтов?

Что ты под этим понимаешь “парсить видео с сайтов”?