Уведомления

Группа в Telegram: @pythonsu

#1 Ноя. 13, 2016 20:34:33

roviur
Зарегистрирован: 2016-11-13
Сообщения: 4
Репутация: +  0  -
Профиль   Отправить e-mail  

Как спарсить сам текст ?

Почитал документацию посмотрел видео, попробовал спарсит текст материала но почему то мне выдает только html верстку
Имеем следующий код

#!/usr/bin/Env python3

import urllib.request
from bs4 import BeautifulSoup


def get_html(url):
response = urllib.request.urlopen(url)
return response.read()

def parse(html):
soup = BeautifulSoup(html ,"html.parser")
td = soup.find('td', class_='eMessage')
print(td.prettify())

def main():
parse(get_html('http://4inana.ucoz.ru/news/giga_plamja_serdec_ft_aj_man/2014-12-05-108'))

if __name__ == '__main__':
main()

Прикреплённый файлы:
attachment Новый точечный рисунок.png (17,3 KБ)

Офлайн

#2 Ноя. 13, 2016 20:37:14

izekia
От:
Зарегистрирован: 2008-07-19
Сообщения: 317
Репутация: +  12  -
Профиль   Отправить e-mail  

Как спарсить сам текст ?

ну Вы нашли и вывели элемент с нужным классом, что не так?



Офлайн

#3 Ноя. 13, 2016 20:45:16

roviur
Зарегистрирован: 2016-11-13
Сообщения: 4
Репутация: +  0  -
Профиль   Отправить e-mail  

Как спарсить сам текст ?

izekia
ну Вы нашли и вывели элемент с нужным классом, что не так?
Я нашел и вывел элемент, но на сайте в нем есть текст . А в питоне его нет. В чем сей трабл ? Как добраться до текста.

Офлайн

#4 Ноя. 13, 2016 20:48:19

izekia
От:
Зарегистрирован: 2008-07-19
Сообщения: 317
Репутация: +  12  -
Профиль   Отправить e-mail  

Как спарсить сам текст ?

roviur
а Вы не пробовали смотреть что Вам по запросу прилетает? почему Вы решили что это именно то что отображается у Вас в браузере по окончанию загрузки?



Офлайн

#5 Ноя. 13, 2016 20:51:03

roviur
Зарегистрирован: 2016-11-13
Сообщения: 4
Репутация: +  0  -
Профиль   Отправить e-mail  

Как спарсить сам текст ?


izekia
roviurа Вы не пробовали смотреть что Вам по запросу прилетает? почему Вы решили что это именно то что отображается у Вас в браузере по окончанию загрузки?
Все, тут я уже не понимаю. Если вас не затруднит поясните пожалуйста !



По сути вот такая картина …

Отредактировано roviur (Ноя. 13, 2016 20:56:01)

Офлайн

#6 Ноя. 13, 2016 21:01:25

izekia
От:
Зарегистрирован: 2008-07-19
Сообщения: 317
Репутация: +  12  -
Профиль   Отправить e-mail  

Как спарсить сам текст ?

страница формируется динамически, то что вы получаете - это не то что получается в браузере после окончательного формирования страницы
если у Вас хром, то по правой кнопке есть возможности: “Просмотр кода страницы” и “Просмотреть код”
Первое - это то что вы получаете по респонсу, а второе - это собственно сформированная структура документа которую Вы видите в браузере. Попробуйте в качестве обучения начать парсить странички попроще.



Офлайн

#7 Ноя. 13, 2016 21:10:26

izekia
От:
Зарегистрирован: 2008-07-19
Сообщения: 317
Репутация: +  12  -
Профиль   Отправить e-mail  

Как спарсить сам текст ?

я в питоне именно не занимался подобным
но вот что по запросу находится сразу: stack, пример с хабра
в общем это для понимания сути идеи, может кто-то из более опытных товарищей подскажет наиболее удобный инструмент для эмуляции браузера



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version