Наткнулся на тему парсинга, поставил себе задачу в учебных целях - распарсить данные на сайте со ставками (live-режим). Взял для примера сайт olimp.bet (не реклама). Взял вкладку live-событий с футболом (
https://olimp.bet/app/live/1). Открыл просмотр страницы, всё вроде понятно, есть тег <ul>, внутри <li> в которых содержится вся инфа, которую будем парсить. Открыл реквестом загрузил html, попытался найти <ul> с помощью bs4, но в итоге ничего не нашел.
import requests
from bs4 import BeautifulSoup
def get_html(url):
r = requests.get(url)
return r.text
def get_total_matches(html):
soup = BeautifulSoup(html, 'lxml')
matches = soup.find('ul', class_='matches')
print(matches)
def main():
url = 'https://olimp.bet/app/live/1'
html = get_html(url)
get_total_matches(html)
if __name__ == '__main__':
main()
Решил посмотреть что вообще приходит в get_html(), а там оказывается кроме двух <div'ов>:
<div id="root"></div>
<div id="modal-root"></div>
ничего нет. Как так? Я новичок в этом деле в принципе. Нашел информацию, что нужно смотреть ajax-запросы, но что это такое я плохо представляю, все запросы которые смог найти в консоли во вкладке Network ничего мне не дали. Намекните куда копать, пожалуйста.