Найти - Пользователи
Полная версия: crawler-бот на webkit
Начало » Web » crawler-бот на webkit
1
alphaville
Всем добрый вечер!

Хочу написать програмку, которая будет периодически заходить на сайт, там заполнять поля формы, submit'тить и парсить результат.

Когда-то давно писал подобное на Delphi. Там был компонент TWebBrowser, с удобными DOM средствами для заполнения полей и т.п.

Как я понял, на питоне можно подобное сделать с помощью WebKit'а. Но примеров крайне мало. Примеров где происходит заполнение полей вообще не нашёл.

Можно вообще такое сделать? Ткните носом в какие-нить примеры или документацию.

Спасибо!
Ferroman
Для WebKit'а - не знаю. А так:
Selenium IDE.
mechanize.
alphaville
Ferroman
Для WebKit'а - не знаю. А так:
Selenium IDE.
mechanize.
Надо уметь переваривать яваскрипт. Без этого сейчас никуда.
Ferroman
Что значит “переваривать яваскрипт”?
alphaville
Ferroman
Что значит “переваривать яваскрипт”?
Я хочу обрабатывать сайты, на которых много аякса. Если зайти туда с отключённым яваскриптом, то там ничего не работает. Сабмит даже не нажмётся.
Ferroman
alphaville
Было бы классно, если бы вы посмотрели на ходя бы один из предложенных мной инструментов.
alphaville
Ferroman
alphaville
Было бы классно, если бы вы посмотрели на ходя бы один из предложенных мной инструментов.
Да, извините. Посмотрю. Просто пока написал пост, додумался до того, что можно обойтись использованием POST запросов. И никакой браузер вообще городить не придётся.
Ferroman
Я скорее к тому, что тот же Selenium автоматизирует действия прямо в браузере, фактически как человек, следовательно AJAX, не AJAX…
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB