Использую модуль HTMLParser для парсинга страниц сайта, код класса:
from HTMLParser import HTMLParser
class parser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self)
self.content = ""
self.div = False
def handle_starttag(self, tag, attrs):
if tag == "div" and attrs:
self.div = True
def handle_data(self, data):
if div == True:
self.content = data
self.div = False