Python-сообщество
Форум сайта python.su
- Вы не вошли.
Уведомления
Группа в Telegram: @pythonsu
![[RSS Feed]](/static/djangobb_forum/img/feed-icon-small.png "[RSS Feed]"){kind=icon}
#1 Дек. 14, 2008 19:55:36
- getme
-
-
- От:
- Зарегистрирован: 2008-12-12
- Сообщения: 9
- Репутация:
0 
- Профиль Отправить e-mail
как не нагружать сервер
shizaчего я не понимаю?
Ок. Теперь я вижу что недопонимание - у тебя.
лучше объясните а еще лучше покажите как по вашему должен быть скрипт который
shizaтогда и недопонимания не будет.
получил страницу, обработал, выдрал с нее внешние/внутрение ссылки пошел к ним. и.тд
Офлайн
#2 Дек. 15, 2008 01:26:02
- shiza
-
-
- От:
- Зарегистрирован: 2007-07-03
- Сообщения: 1073
- Репутация:
0
- Профиль Отправить e-mail
как не нагружать сервер
Имеет смысл:
1. Сделать очередь ссылок для обработки и set() ссылок которые уже обработаны (чтоб не обрабатывать уже обработанную страницу).
2. Чтобы кол-во ссылок не было катастрофически огромным, разделить ввнутренние и внешние сслыки. Причем внутренние урезать до домена. Если стоит задача ходить по всем ссылкам подрят - имеет смысл хранить домены во внешней БД (потому что доменов в мире слишком много чтоб держать их в памяти).
Отредактировано (Дек. 15, 2008 01:34:09)
Офлайн