Python-сообщество

Добрый день.
Несколько дней решаю проблему автоматического заполнения форм на сайте с паследующей отправкой, голова не варит более, все ссылки гугла проштудировал так и не смог решить. Необходимо занести более 500 объектов через сайт при этом работаю через прокси, так же прокси на сайте с которым работаю.
Необходимо сделать через питон 2.7. Mechanize не работает с jsp, twill вынес мозг с выходом через прокси если он вообще выходит через него, grab "разобрался" как парсить, но не заполнять. Есть ли универсальный инструмент для заполнения jsp страницы автоматически + работой с прокси + для полного набора считывание вводимой информации через exel? Либо савокупность инструментов?
Зы Занести напрямую в базу владелец базы редиска возможности нет, поэтому только через сайт.
Зыы Если спрашиваю элементарные вещи прошу понять и простить

Отредактировано noob_saibot (Сен. 15, 2013 12:57:42)

Что такое jsp?

> grab “разобрался” как парсить, но не заполнять
Живой код в студию.

Mechanize с javascripts не работает.
Код парсинга не по теме. Но вот заполнение формы с помощью mechanize прикладываю.

import mechanize
import sys
from mechanize import Browser
def sim():
    br=mechanize.Browser()
    br.set_proxies({'http':'proxy:****'})
    br.add_proxy_password(login,password)
    br.set_handle_equiv(True)
    br.set_handle_redirect(True)
    br.set_handle_referer(True)
    br.set_handle_robots(False)
    br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(),max_time=1)
    br.add_password(page.jsp,login,password)
    r=br.open(page.jsp)
    br.select_form(nr=0)
    br['name']='text'
    res=br.submit()
    content = res.read()
    with open("mechanize_results.html", "w") as f:
        f.write(content)
sim()   

Ещё раз спрашиваю, что такое jsp?
Зачем вы приложили код работы с mechanize, я имел в виду код работы с Grab конкретно с сайтом, на который вы хотите отправить форму?

lorien
Ещё раз спрашиваю, что такое jsp?

from grab import Grab
import logging
def sim():
    g = Grab(log_file='out.html')
    g.setup(proxy='proxy', proxy_type='http', proxy_userpwd='login:****')
    g.go('page.jsp')
    print g.xpath_text('//*')
sim()

Отредактировано noob_saibot (Сен. 15, 2013 16:14:26)

lorien
Зачем вы приложили код работы с mechanize, я имел в виду код работы с Grab конкретно с сайтом, на который вы хотите отправить форму?

Я вообще не понимаю, о чём вы говорите, поэтому счёл разумным просто помолчать.

lorien
Я вообще не понимаю, о чём вы говорите, поэтому счёл разумным просто помолчать.

> Grab - проблемы c авторизацией
Трудно понять, что за проблемы т.к. лично у меня, да и у других пользователей граб таких проблем не наблюдается. Если вы дадите данные по прокси, я могу попробовать запустить у себя код с грабом.

Проблему с Grab решил:

g.setup(proxy='proxy', proxy_type='http', proxy_userpwd='123:321')
g.go("http://*", userpwd='123:321')