Всем привет. Относительно недавно начал изучать питон и пытаюсь написать парсер для одного сайта по доте2, чтобы собирать небольшую статистику по командам. Пытаюсь работать с определенным блоком в разметке сайта, но зашел в тупик, при попытке считать данные из блока div.pad мой парсер считывает не все его содержимое, а только верхнюю часть, в чем может быть проблема и как это исправить? Заранее спасибо.
import requests
from bs4 import BeautifulSoup
def get_html(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'
}
response = requests.get(url, headers = headers)
with open('test.html', 'wb') as output_file:
output_file.write(response.text.encode('utf-8'))
return response.text
def parse(html):
soup = BeautifulSoup(html)
div = soup.find('div', class_ = 'pad')
print(div.prettify())
def main():
parse(get_html('https://www.joindota.com/en/edb/teams'))
if __name__ == '__main__':
main()