Уведомления

Группа в Telegram: @pythonsu

#1 Фев. 21, 2017 11:27:09

Vigi
От: Курья, Алтай
Зарегистрирован: 2015-02-07
Сообщения: 141
Репутация: +  8  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

Всем добра!
В общем задача такая:
есть урл: тут
нужно с него спарсить текст помеченный на скрине:


пишу код:

 import requests
from bs4 import BeautifulSoup as bs
def get_html(url):
    r = requests.get(url)
    r.encoding = 'utf-8'
    return r.text
url = 'http://bus.gov.ru/pub/agency/8968/tasks/3472492'
print(get_html(url))

но почему-то получаю не ту html (в ней нет данной инфы что бы привязаться к ней через BeautifulSoup) а при исследовании этого элемента через браузер элемент находится.
Что не так?

Отредактировано Vigi (Фев. 21, 2017 11:29:12)

Офлайн

#2 Фев. 21, 2017 11:53:44

nuklea
От:
Зарегистрирован: 2009-12-05
Сообщения: 51
Репутация: +  0  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

Какой браузер? С помощью какого инструмента обнаруживается элемент?



Офлайн

#3 Фев. 21, 2017 12:00:05

Vigi
От: Курья, Алтай
Зарегистрирован: 2015-02-07
Сообщения: 141
Репутация: +  8  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

nuklea
Какой браузер? С помощью какого инструмента обнаруживается элемент?
Браузер любой. В любом браузере ПКМ исследовать элемент или посмотреть код элемента (в зависимости от браузера)

Отредактировано Vigi (Фев. 21, 2017 12:42:15)

Офлайн

#4 Фев. 21, 2017 14:09:51

py.user.next
От:
Зарегистрирован: 2010-04-29
Сообщения: 8134
Репутация: +  733  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

Vigi
есть урл: тут
Нифига там не открывается, просто облака и всё.



Офлайн

#5 Фев. 21, 2017 15:18:18

Vigi
От: Курья, Алтай
Зарегистрирован: 2015-02-07
Сообщения: 141
Репутация: +  8  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

py.user.next
Нифига там не открывается, просто облака и всё.
странно у меня открывается попробуйте http://bus.gov.ru

Офлайн

#6 Фев. 21, 2017 15:42:48

py.user.next
От:
Зарегистрирован: 2010-04-29
Сообщения: 8134
Репутация: +  733  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

Vigi
попробуйте http://bus.gov.ru
Не, облака только открывает и всё. Даже если отключить AdBlock для него. Очередной государственный говносайт, далёкий от Интернета и пользователей.



Офлайн

#7 Фев. 21, 2017 16:00:30

Vigi
От: Курья, Алтай
Зарегистрирован: 2015-02-07
Сообщения: 141
Репутация: +  8  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

py.user.next
Не, облака только открывает и всё. Даже если отключить AdBlock для него. Очередной государственный говносайт, далёкий от Интернета и пользователей.
Что-то странное у вас
У меня хоть с виды, хоть с линукс все нормально под любыми браузерами заходит…

Офлайн

#8 Фев. 21, 2017 17:35:50

vic57
Зарегистрирован: 2015-07-07
Сообщения: 893
Репутация: +  126  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

Vigi, вы спарсили HTML, на сайте и js есть. Динамический контент, поэтому и нет его в HTML
ЗЫ так и есть, там AngularJS https://ru.wikipedia.org/wiki/AngularJS

Отредактировано vic57 (Фев. 21, 2017 17:47:58)

Прикреплённый файлы:
attachment scr.png (116,6 KБ)

Офлайн

#9 Фев. 21, 2017 18:10:45

Vigi
От: Курья, Алтай
Зарегистрирован: 2015-02-07
Сообщения: 141
Репутация: +  8  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

vic57
Vigi, вы спарсили HTML, на сайте и js есть. Динамический контент, поэтому и нет его в HTML
ЗЫ так и есть, там AngularJS https://ru.wikipedia.org/wiki/AngularJS
И какие есть варианты распарсить?

Офлайн

#10 Фев. 21, 2017 18:17:50

PooH
От:
Зарегистрирован: 2006-12-05
Сообщения: 1948
Репутация: +  72  -
Профиль   Отправить e-mail  

Спарсить данные с указанного url

Vigi
И какие есть варианты распарсить?
Пойдет?



Вот здесь один из первых отарков съел лаборанта. Это был такой умный отарк, что понимал даже теорию относительности. Он разговаривал с лаборантом, а потом бросился на него и загрыз…

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version