Python-сообщество

# -*- coding: utf-8 -*-
import urllib2
import codecs
import csv
from BeautifulSoup import BeautifulSoup
import sys
streamWriter = codecs.lookup('utf-8')[-1]# это вроде как должно решить проблему по описанию в доках к BeautifulSoup
sys.stdout = streamWriter(sys.stdout)#но оно не решает

site_url = 'http://hotline.ua'
search_word = u'g900'
query_string = 'http://hotline.ua/sr/?q=%s&x=0&y=0'%search_word
page = urllib2.urlopen(query_string)

soup = BeautifulSoup(page)

search_result = soup.find("div", "t_search_results").findAll('a')
results = list()

spamWriter = csv.writer(open('c:\eggs.csv', 'w'), delimiter=' ',quotechar='|', quoting=csv.QUOTE_MINIMAL)
for link in search_result:
    page = urllib2.urlopen("%s%s"%(site_url,link['href']))
    page_soup = BeautifulSoup(page)
    spec_html = page_soup.find('table','specification')
    
    if spec_html:
    
        print spec_html.find('th')
        print spec_html.find('td')
        
        spamWriter.writerow([spec_html.find('th'), spec_html.find('td')])

# -*- coding: utf-8 -*-
import urllib2
import codecs
import csv
from BeautifulSoup import BeautifulSoup

site_url = 'http://rozetka.com.ua/'
search_word = u'g900'
query_string = 'http://rozetka.com.ua/index.php?search_text=%s&imageField.x=0&imageField.y=0&page=search&lang=ru='%search_word

page = urllib2.urlopen(query_string)

soup = BeautifulSoup(page)

html = soup.prettify()
search_result = soup.find("div", "t_search_results").findAll('a')
results = list()

spamWriter = csv.writer(open('c:\eggs1.csv', 'w'), delimiter=' ',quotechar='|', quoting=csv.QUOTE_MINIMAL)
for link in search_result:
    rtf = ("%s%s"%(site_url,link['href']))
    page = urllib2.urlopen(rtf)
    page_soup = BeautifulSoup(page)
    spec_html = page_soup.find('table','specification')
    
    if spec_html:
    
      
        print spec_html.find('dr')
        print spec_html.find('b')
        
        spamWriter.writerow([spec_html.find('br'), spec_html.find('b')])

print soup.originalEncoding
# вывод: windows-1252

soup = BeautifulSoup(page, fromEncoding="windows-1251")

<div class="post">
	Пацаны! <br /><br />
	Я реально рад вас всех видеть! <br />
	Зацените, как я играю в футбол:<br />
	<a href="http://aaa.su/dex.jpg>-прикрепленное изображение-</a>
</div>

>>> import bs4
>>> markup = """
... <div class="post">
...     Пацаны! <br /><br />
...     Я реально рад вас всех видеть! <br />
...     Зацените, как я играю в футбол:<br />
...     <a href="http://aaa.su/dex.jpg>-прикрепленное изображение-</a>
... </div>"""
>>> soup = bs4.BeautifulSoup(markup)
>>> "".join([x.strip() if not isinstance(x, bs4.element.Tag) else str(x) for x in soup.find("div", class_="post").contents])
'Пацаны!<br/><br/>Я реально рад вас всех видеть!<br/>Зацените, как я играю в футбол:<br/><a href="http://aaa.su/dex.jpg&gt;-прикрепленное изображение-&lt;/a&gt;\n&lt;/div&gt;"></a>'

soup.div.get_text()