Уведомления

Группа в Telegram: присоединиться

#1 Март 11, 2015 15:09:05

0xhD
Зарегистрирован: 2015-03-11
Сообщения: 1
Репутация: +  0  -
Профиль   Отправить e-mail  

Парсинг и Редис

Так как я пока не понимаю концепсию асинхрона, паршу по старинке в 100~ потоков. И вот назрел вопрос стоитли для каждого потока создавать список redis (rpush) или просто дергать из единого списка? Ну и писать в один список или писать в каждый из отдельных .

Офлайн

#2 Март 29, 2015 18:44:23

john123
Зарегистрирован: 2013-12-22
Сообщения: 56
Репутация: +  7  -
Профиль   Отправить e-mail  

Парсинг и Редис

Зачем Вам тогда Redis, если у каждого потока всё равно будет своя очередь задач?
Обычно межпроцессное взаимодействие реализуется с одной общей очередью.

Чтобы постоянно не дергать сеть, процесс может брать из очереди больше одного элемента за один раз:
http://stackoverflow.com/questions/20621775/pop-multiple-values-from-redis-data-structure-atomically

0xhD
Так как я пока не понимаю концепсию асинхрона, паршу по старинке в 100~ потоков
Сам по себе асинхронный подход мало что даст в плане производительности (на практике) без комбинации его с многопроцессной моделью.

Выходит примерно так: запущено много-много процессов, каждый работает на асинхронной модели, процессы читают и пишут задачи из одной и той же очереди (здесь-то как раз и нужен Redis для более простого масштабирования).

Причем процессы не обязательно запущены на одном единственном сервере.

Отредактировано john123 (Март 29, 2015 18:51:49)

Офлайн

#3 Апрель 30, 2019 00:59:48

csergius
Зарегистрирован: 2019-04-29
Сообщения: 1
Репутация: +  0  -
Профиль   Отправить e-mail  

Парсинг и Редис

Наверное немножко не в тему, но может кто-то знает как парсить видео с сайтов?

Отредактировано csergius (Апрель 30, 2019 01:01:06)

Офлайн

#4 Апрель 30, 2019 02:55:11

py.user.next
От:
Зарегистрирован: 2010-04-29
Сообщения: 6285
Репутация: +  562  -
Профиль   Отправить e-mail  

Парсинг и Редис

csergius
может кто-то знает как парсить видео с сайтов?
Что ты под этим понимаешь “парсить видео с сайтов”?



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version