DjangoBB LoFi version

Полная версия: Помогите с модулями requests и bs4

Начало » Python для новичков » Помогите с модулями requests и bs4

S@nya

Фев. 18, 2018 22:14:56

Здравствуйте!!!
Я хочу написать небольшой парсер, который будет извлекать из кода страницы ссылку на видео. Погуглив я нашел связку requests и bs4, но есть одна проблема. При использовании модулей

 import requests
from bs4 import BeautifulSoup as bs
req = requests.get("адрес страницы с плеером")
soup = bs(req.text, "lxml")
print(soup)

нет некоторых частей кода, в том числе тех где описан адрес видео. При этом из браузера этот код доступен. Подскажите как нужно сформировать запрос, чтобы получить полный код.

JOHN_16

Фев. 18, 2018 22:21:40

S@nya
Вы должны брать в расчет что ссылка на видео может появиться в результате выполнения JavaScript кода вашим браузером. Либо подсматривайте как оно делается, либо ищите иные решения, например с эмуляцией выполнения JS

S@nya

Фев. 18, 2018 22:27:14

JOHN_16
Вы должны брать в расчет что ссылка на видео может появиться в результате выполнения JavaScript кода вашим браузером. Либо подсматривайте как оно делается, либо ищите иные решения, например с эмуляцией выполнения JS

А вы не могли бы подсказать модуль, который позволит эмулировать js? Мне только название а дальше я разберусь. Спасибо!

Vigi

Фев. 19, 2018 07:27:06

а с какой ссылки вы хотите распарсить ?