При парсинге сайтов с доменом “ru” выдает пустой список…
При отладке soup отображает структуру сайта, наполненную разными символами(цифрами и англ буквами), возможно проблема с кодировкой. Если в URL вставить сайт с доменом “com” отображает нормальную структуру и парсер работает исправно.
В чем может быть проблема?
Заранее благодарю.
Ниже код:
import requests from bs4 import BeautifulSoup URL = 'https://www.dns-shop.ru/actions/' HEADERS = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/70.0', 'accept': '*/*'} def get_html(url, params=None): r = requests.get(url, headers=HEADERS, params=params) # GET запрос на сайт return r def get_content(html): # преобразование кода страницы soup = BeautifulSoup(html, 'lxml') items = soup.find_all('div', class_='action-card__texts') # выдает пустым списком в том числе и items inf = [] for item in items: inf.append({ 'Заголовок': item.find('a', class_='action-card__title').get_text() }) print(inf) def parse(): html = get_html(URL) if html.status_code == 200: get_content(html.text) else: print('Ошибка соединения') parse()