Найти - Пользователи
Полная версия: Парсинг и Редис
Начало » Data Mining » Парсинг и Редис
1
0xhD
Так как я пока не понимаю концепсию асинхрона, паршу по старинке в 100~ потоков. И вот назрел вопрос стоитли для каждого потока создавать список redis (rpush) или просто дергать из единого списка? Ну и писать в один список или писать в каждый из отдельных .
john123
Зачем Вам тогда Redis, если у каждого потока всё равно будет своя очередь задач?
Обычно межпроцессное взаимодействие реализуется с одной общей очередью.

Чтобы постоянно не дергать сеть, процесс может брать из очереди больше одного элемента за один раз:
http://stackoverflow.com/questions/20621775/pop-multiple-values-from-redis-data-structure-atomically

0xhD
Так как я пока не понимаю концепсию асинхрона, паршу по старинке в 100~ потоков
Сам по себе асинхронный подход мало что даст в плане производительности (на практике) без комбинации его с многопроцессной моделью.

Выходит примерно так: запущено много-много процессов, каждый работает на асинхронной модели, процессы читают и пишут задачи из одной и той же очереди (здесь-то как раз и нужен Redis для более простого масштабирования).

Причем процессы не обязательно запущены на одном единственном сервере.
csergius
Наверное немножко не в тему, но может кто-то знает как парсить видео с сайтов?
py.user.next
csergius
может кто-то знает как парсить видео с сайтов?
Что ты под этим понимаешь “парсить видео с сайтов”?
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB