Уведомления

Группа в Telegram: @pythonsu

#1 Янв. 4, 2011 14:28:56

Lunar
От:
Зарегистрирован: 2010-08-10
Сообщения: 8
Репутация: +  0  -
Профиль   Отправить e-mail  

BeautifulSoup не видит теги

где-то я опять налажал, вроде и кодировка нормальная и метод .prettify(), форматирование кода, работает, а теги методом .fineAll не видит

from BeautifulSoup import BeautifulSoup

class atape_http_client(object):
def __init__(self, proxy=None, user_agent='Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.2.3) Gecko/20100423 Ubuntu/10.04 (lucid) Firefox/3.6.3'):
self.cookie_handler = urllib2.HTTPCookieProcessor(cookielib.CookieJar())
self.redirect_handler = urllib2.HTTPRedirectHandler()
self.http_handler = urllib2.HTTPHandler()
self.https_handler = urllib2.HTTPSHandler()

self.opener = urllib2.build_opener(self.http_handler,
self.https_handler,
self.cookie_handler,
self.redirect_handler)

if proxy:
self.proxy_handler = urllib2.ProxyHandler(proxy)
self.opener.add_handler(self.proxy_handler)

self.opener.addheaders = [('User-agent', user_agent),
('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'),
('Accept-Language', 'en-us,en,;q=0.5'),
('Accept-Encoding', 'gzip,deflate'),
('Accept-Charset', 'ISO-8859-1,utf-8;q=0.7,*,q=0.7')]

def request(self, url, params={}, timeout=60):
if params:
params = urllib.urlencode(params)
html = self.opener.open(url, params, timeout)
else:
html = self.opener.open(url)

return html.read()

bot = atape_http_client()
params = {}
html=bot.request("https://stat.byfly.by/cgi-bin/cgi.exe?function=is_newlog")
soup = BeautifulSoup(html)

print soup.findAll('td')



Офлайн

#2 Янв. 4, 2011 17:32:08

shiza
От:
Зарегистрирован: 2007-07-03
Сообщения: 1073
Репутация: +  0  -
Профиль   Отправить e-mail  

BeautifulSoup не видит теги

Выполнил у себя:
python 2.6.5
BeautifulSoup 3.2.0
консоль UTF8
Все ок. Напечаталась куча TD-шек.



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version