Уведомления

Группа в Telegram: @pythonsu

#1 Фев. 1, 2017 14:44:26

Mlaigy
Зарегистрирован: 2017-01-27
Сообщения: 6
Репутация: +  0  -
Профиль   Отправить e-mail  

Проблема с написанием парсера.

Всем привет. Относительно недавно начал изучать питон и пытаюсь написать парсер для одного сайта по доте2, чтобы собирать небольшую статистику по командам. Пытаюсь работать с определенным блоком в разметке сайта, но зашел в тупик, при попытке считать данные из блока div.pad мой парсер считывает не все его содержимое, а только верхнюю часть, в чем может быть проблема и как это исправить? Заранее спасибо.

 import  requests
from bs4 import BeautifulSoup
def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'
      }
    response = requests.get(url, headers = headers)
    with open('test.html', 'wb') as output_file:
        output_file.write(response.text.encode('utf-8'))
    return response.text
def parse(html):
    soup = BeautifulSoup(html)
    div = soup.find('div', class_ = 'pad')
    print(div.prettify())
def main():
    parse(get_html('https://www.joindota.com/en/edb/teams'))
if __name__ == '__main__':
    main()

Офлайн

#2 Фев. 1, 2017 16:43:53

py.user.next
От:
Зарегистрирован: 2010-04-29
Сообщения: 9894
Репутация: +  854  -
Профиль   Отправить e-mail  

Проблема с написанием парсера.

Там есть ещё такой div. Бери div с id=“content”.



Офлайн

#3 Фев. 1, 2017 17:23:50

Mlaigy
Зарегистрирован: 2017-01-27
Сообщения: 6
Репутация: +  0  -
Профиль   Отправить e-mail  

Проблема с написанием парсера.

py.user.next
Там есть ещё такой div. Бери div с id=“content”.
Спасибо большое, помогло.

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version