DjangoBB LoFi version

Найти - Пользователи

Полная версия: Спарсить данные с указанного url

Начало » Network » Спарсить данные с указанного url

1 2 3 4 5 6

Vigi

Фев. 21, 2017 11:27:09

Всем добра!
В общем задача такая:
есть урл: тут
нужно с него спарсить текст помеченный на скрине:

пишу код:

 import requests
from bs4 import BeautifulSoup as bs
def get_html(url):
    r = requests.get(url)
    r.encoding = 'utf-8'
    return r.text
url = 'http://bus.gov.ru/pub/agency/8968/tasks/3472492'
print(get_html(url))

но почему-то получаю не ту html (в ней нет данной инфы что бы привязаться к ней через BeautifulSoup) а при исследовании этого элемента через браузер элемент находится.
Что не так?

nuklea

Фев. 21, 2017 11:53:44

Какой браузер? С помощью какого инструмента обнаруживается элемент?

Vigi

Фев. 21, 2017 12:00:05

nuklea
Какой браузер? С помощью какого инструмента обнаруживается элемент?

Браузер любой. В любом браузере ПКМ исследовать элемент или посмотреть код элемента (в зависимости от браузера)

py.user.next

Фев. 21, 2017 14:09:51

Vigi
есть урл: тут

Нифига там не открывается, просто облака и всё.

Vigi

Фев. 21, 2017 15:18:18

py.user.next
Нифига там не открывается, просто облака и всё.

странно у меня открывается попробуйте http://bus.gov.ru

py.user.next

Фев. 21, 2017 15:42:48

Vigi
попробуйте http://bus.gov.ru

Не, облака только открывает и всё. Даже если отключить AdBlock для него. Очередной государственный говносайт, далёкий от Интернета и пользователей.

Vigi

Фев. 21, 2017 16:00:30

py.user.next
Не, облака только открывает и всё. Даже если отключить AdBlock для него. Очередной государственный говносайт, далёкий от Интернета и пользователей.

Что-то странное у вас

У меня хоть с виды, хоть с линукс все нормально под любыми браузерами заходит…

vic57

Фев. 21, 2017 17:35:50

Vigi, вы спарсили HTML, на сайте и js есть. Динамический контент, поэтому и нет его в HTML
ЗЫ так и есть, там AngularJS https://ru.wikipedia.org/wiki/AngularJS

Vigi

Фев. 21, 2017 18:10:45

vic57
Vigi, вы спарсили HTML, на сайте и js есть. Динамический контент, поэтому и нет его в HTML
ЗЫ так и есть, там AngularJS https://ru.wikipedia.org/wiki/AngularJS

И какие есть варианты распарсить?

PooH

Фев. 21, 2017 18:17:50

Vigi
И какие есть варианты распарсить?

Пойдет?