Форум сайта python.su
где-то я опять налажал, вроде и кодировка нормальная и метод .prettify(), форматирование кода, работает, а теги методом .fineAll не видит
from BeautifulSoup import BeautifulSoup
class atape_http_client(object):
def __init__(self, proxy=None, user_agent='Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.2.3) Gecko/20100423 Ubuntu/10.04 (lucid) Firefox/3.6.3'):
self.cookie_handler = urllib2.HTTPCookieProcessor(cookielib.CookieJar())
self.redirect_handler = urllib2.HTTPRedirectHandler()
self.http_handler = urllib2.HTTPHandler()
self.https_handler = urllib2.HTTPSHandler()
self.opener = urllib2.build_opener(self.http_handler,
self.https_handler,
self.cookie_handler,
self.redirect_handler)
if proxy:
self.proxy_handler = urllib2.ProxyHandler(proxy)
self.opener.add_handler(self.proxy_handler)
self.opener.addheaders = [('User-agent', user_agent),
('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'),
('Accept-Language', 'en-us,en,;q=0.5'),
('Accept-Encoding', 'gzip,deflate'),
('Accept-Charset', 'ISO-8859-1,utf-8;q=0.7,*,q=0.7')]
def request(self, url, params={}, timeout=60):
if params:
params = urllib.urlencode(params)
html = self.opener.open(url, params, timeout)
else:
html = self.opener.open(url)
return html.read()
bot = atape_http_client()
params = {}
html=bot.request("https://stat.byfly.by/cgi-bin/cgi.exe?function=is_newlog")
soup = BeautifulSoup(html)
print soup.findAll('td')
Офлайн
Выполнил у себя:
python 2.6.5
BeautifulSoup 3.2.0
консоль UTF8
Все ок. Напечаталась куча TD-шек.
Офлайн