Добрый день! Недавно начал изучать Python, прошу строго не судить. Суть проблемы такая, пишу парсер google, таким образом что бы он подставлял ключевые слова в запрос , затем полученный ответ записывал в текстовый файл с ( сылка, титул, краткое описание). Ссылки я смог получить, но возникла проблема с титлом и кратким описанием ссылок.
import requests
from lxml.html import fromstring
GOOGLE_SERCHE = 'https://www.google.ru/search?q={}'
KYE = 'python'
ITEM_PARS = '.r' #r ссылки
def main():
write_info(get_pages())
def get_pages():
r = requests.get(GOOGLE_SERCHE.format(KYE))
ref = fromstring(r.text)
for e in ref.cssselect(ITEM_PARS):
a = e.cssselect('a')[0]
href = a.get('href').lstrip('\/url?q=').split('&',1)[0]
return(href)
def write_info(serche):
f = open("resut.txt","w")
f.write(serche)
f.close
if __name__ == '__main__':
main()
В гугле краткое описание в <span>, но не могу его вытащить… Пробовал так же xpath`ом , не получилось. Посоветуйте пожалуйста как развить дальше парсер. Спасибо за помощ