Уведомления

Группа в Telegram: @pythonsu

#1 Ноя. 3, 2012 14:30:19

juche-songun
Зарегистрирован: 2012-10-26
Сообщения: 42
Репутация: +  -2  -
Профиль   Отправить e-mail  

threading в multiprocessing

интересно для парсинга запустить 1000 процесов с 2 потоками, я понимаю это редкое извращение но всетаки .

Офлайн

#2 Ноя. 3, 2012 15:32:27

adray
Зарегистрирован: 2012-09-15
Сообщения: 123
Репутация: +  18  -
Профиль   Отправить e-mail  

threading в multiprocessing

Запуск процесса - дорогое удовольствие, контекст каждого занимает порядка 10Мб

Офлайн

#3 Ноя. 3, 2012 22:18:24

juche-songun
Зарегистрирован: 2012-10-26
Сообщения: 42
Репутация: +  -2  -
Профиль   Отправить e-mail  

threading в multiprocessing

20 Гб ? не проблема для сервера с 64 Гб, вопрос все таки стоит в эффективности чтоб забить канал и т.д.

Офлайн

#4 Ноя. 4, 2012 16:58:33

odnochlen
Зарегистрирован: 2012-06-28
Сообщения: 794
Репутация: +  14  -
Профиль   Отправить e-mail  

threading в multiprocessing

Питонкапец++

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version