Уведомления

Группа в Telegram: @pythonsu

#1 Фев. 1, 2014 00:18:07

fuel1986
Зарегистрирован: 2014-02-01
Сообщения: 1
Репутация: +  0  -
Профиль   Отправить e-mail  

Нужен скоростной парсер

Нужно создать парсер сначала для двух сайтов, если получится буду добавлять ещё, скорость парсинга нужна по максимум 100-150 страниц в 1-2 секунды на каждый сайт, далее идет несложная обработка полученных данных, бюджет на каждый сайт 150-200$, тоесть стартовый бюджет для двух сайтов 300-400$
Если кто готов взятся за работу пишите свои ICQ или skype
Спасибо

Офлайн

#2 Фев. 1, 2014 12:00:40

Lexander
От:
Зарегистрирован: 2008-09-19
Сообщения: 1139
Репутация: +  33  -
Профиль   Отправить e-mail  

Нужен скоростной парсер

Что-то я сомневаюсь в технической возможности достичь такой скорости.
Удаленный сайт хоть позволяет получить за полсекунды 150 страницы?
И как долго он будет это терпеть, пока не забанит IP?



Офлайн

#3 Фев. 2, 2014 18:22:28

plusplus
От:
Зарегистрирован: 2009-01-05
Сообщения: 418
Репутация: +  15  -
Профиль   Отправить e-mail  

Нужен скоростной парсер

Плюс еще урлы этих 150 страниц должны быть заранее известны. Если же нет, и нужно делать паука, то это математически невозможно, т.к. одна страница будет грузиться в лучшем случае 0.1 секунд, следовательно за секунду получится спарсить только 10 страниц. А вообще я парсеры пописываю довольно часто, если задание будет не такое скоростное, то тс пиши на мыло в моем профиле)



Отредактировано plusplus (Фев. 2, 2014 18:26:11)

Офлайн

#4 Фев. 3, 2014 10:24:54

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Нужен скоростной парсер

skype: lorien.name

Офлайн

#5 Фев. 4, 2014 08:12:54

terabayt
От: Киев
Зарегистрирован: 2011-11-26
Сообщения: 1099
Репутация: +  103  -
Профиль   Отправить e-mail  

Нужен скоростной парсер

сделаю дешевле, так как уже имеется подобный проект!
python36@yandex.ru



————————————————
-*- Simple is better than complex -*-

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version