Python-сообщество

S@nya · Фев. 18, 2018 22:14:56

Здравствуйте!!!
Я хочу написать небольшой парсер, который будет извлекать из кода страницы ссылку на видео. Погуглив я нашел связку requests и bs4, но есть одна проблема. При использовании модулей

 import requests
from bs4 import BeautifulSoup as bs
req = requests.get("адрес страницы с плеером")
soup = bs(req.text, "lxml")
print(soup)

нет некоторых частей кода, в том числе тех где описан адрес видео. При этом из браузера этот код доступен. Подскажите как нужно сформировать запрос, чтобы получить полный код.

Отредактировано S@nya (Фев. 18, 2018 22:16:31)

JOHN_16 · Фев. 18, 2018 22:21:40

S@nya
Вы должны брать в расчет что ссылка на видео может появиться в результате выполнения JavaScript кода вашим браузером. Либо подсматривайте как оно делается, либо ищите иные решения, например с эмуляцией выполнения JS

_________________________________________________________________________________
полезный блог о python john16blog.blogspot.com

S@nya · Фев. 18, 2018 22:27:14

JOHN_16
Вы должны брать в расчет что ссылка на видео может появиться в результате выполнения JavaScript кода вашим браузером. Либо подсматривайте как оно делается, либо ищите иные решения, например с эмуляцией выполнения JS

А вы не могли бы подсказать модуль, который позволит эмулировать js? Мне только название а дальше я разберусь. Спасибо!

Vigi · Фев. 19, 2018 07:27:06

а с какой ссылки вы хотите распарсить ?

Python-сообщество

Уведомления

#1 Фев. 18, 2018 22:14:56

Помогите с модулями requests и bs4

#2 Фев. 18, 2018 22:21:40

Помогите с модулями requests и bs4

#3 Фев. 18, 2018 22:27:14

Помогите с модулями requests и bs4

#4 Фев. 19, 2018 07:27:06

Помогите с модулями requests и bs4

Board footer