Уведомления

Группа в Telegram: @pythonsu

#1 Июль 17, 2009 17:09:09

alphaville
От:
Зарегистрирован: 2009-07-17
Сообщения: 33
Репутация: +  0  -
Профиль   Отправить e-mail  

crawler-бот на webkit

Всем добрый вечер!

Хочу написать програмку, которая будет периодически заходить на сайт, там заполнять поля формы, submit'тить и парсить результат.

Когда-то давно писал подобное на Delphi. Там был компонент TWebBrowser, с удобными DOM средствами для заполнения полей и т.п.

Как я понял, на питоне можно подобное сделать с помощью WebKit'а. Но примеров крайне мало. Примеров где происходит заполнение полей вообще не нашёл.

Можно вообще такое сделать? Ткните носом в какие-нить примеры или документацию.

Спасибо!



Отредактировано (Июль 17, 2009 17:26:05)

Офлайн

#2 Июль 17, 2009 17:40:56

Ferroman
От:
Зарегистрирован: 2006-11-16
Сообщения: 2759
Репутация: +  1  -
Профиль   Отправить e-mail  

crawler-бот на webkit

Для WebKit'а - не знаю. А так:
Selenium IDE.
mechanize.

Офлайн

#3 Июль 17, 2009 18:27:22

alphaville
От:
Зарегистрирован: 2009-07-17
Сообщения: 33
Репутация: +  0  -
Профиль   Отправить e-mail  

crawler-бот на webkit

Ferroman
Для WebKit'а - не знаю. А так:
Selenium IDE.
mechanize.
Надо уметь переваривать яваскрипт. Без этого сейчас никуда.



Офлайн

#4 Июль 17, 2009 18:45:28

Ferroman
От:
Зарегистрирован: 2006-11-16
Сообщения: 2759
Репутация: +  1  -
Профиль   Отправить e-mail  

crawler-бот на webkit

Что значит “переваривать яваскрипт”?

Офлайн

#5 Июль 17, 2009 18:52:36

alphaville
От:
Зарегистрирован: 2009-07-17
Сообщения: 33
Репутация: +  0  -
Профиль   Отправить e-mail  

crawler-бот на webkit

Ferroman
Что значит “переваривать яваскрипт”?
Я хочу обрабатывать сайты, на которых много аякса. Если зайти туда с отключённым яваскриптом, то там ничего не работает. Сабмит даже не нажмётся.



Офлайн

#6 Июль 17, 2009 19:18:48

Ferroman
От:
Зарегистрирован: 2006-11-16
Сообщения: 2759
Репутация: +  1  -
Профиль   Отправить e-mail  

crawler-бот на webkit

alphaville
Было бы классно, если бы вы посмотрели на ходя бы один из предложенных мной инструментов.

Офлайн

#7 Июль 17, 2009 21:05:45

alphaville
От:
Зарегистрирован: 2009-07-17
Сообщения: 33
Репутация: +  0  -
Профиль   Отправить e-mail  

crawler-бот на webkit

Ferroman
alphaville
Было бы классно, если бы вы посмотрели на ходя бы один из предложенных мной инструментов.
Да, извините. Посмотрю. Просто пока написал пост, додумался до того, что можно обойтись использованием POST запросов. И никакой браузер вообще городить не придётся.



Офлайн

#8 Июль 27, 2009 14:49:06

Ferroman
От:
Зарегистрирован: 2006-11-16
Сообщения: 2759
Репутация: +  1  -
Профиль   Отправить e-mail  

crawler-бот на webkit

Я скорее к тому, что тот же Selenium автоматизирует действия прямо в браузере, фактически как человек, следовательно AJAX, не AJAX…

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version