DjangoBB LoFi version

Полная версия: Проблемы с парсингом сайта

Начало » Python для новичков » Проблемы с парсингом сайта

wesmokeweed

Окт. 4, 2017 20:08:24

Всем доброго времени суток. С парсингом на питоне, да и просто с парсингом ни разу не сталкивался. Требуется запарсить сайт CS.MONEY, а именно данный div-блок: *скриншот* . Но в связи с моей неопытностью(криворукостью) не обошлось без проблем. Вот собственно и они:

1) Сайт не парсится. При попытке запустить скрипт, вылазит эта ошибка: *скриншот*. Причем не парсится только этот сайт, с остальными все в порядке. Код:

 import urllib.request
from bs4 import BeautifulSoup
def get_html(url):
	response = urllib.request.urlopen(url)
	return response.read()
def main():
	print(get_html('https://cs.money/'))
if __name__ == '__main__':
	main()

2) Даже если бы скрипт смог запарсить сайт, в html-коде отображается нет информации по тому div-блоку, который нужен мне. Что бы было понятнее, вот скриншоты: *скриншоты*.

3) Допустим, я решил 1 и 2 проблемы, но есть еще одна. При открытии страницы в html-коде загружаются не все элементы(оружия), а лишь часть из них. Что бы загрузить все элементы(оружия), нужно скролить вниз этот div-блок.

Надеюсь, вы поняли, что я тут накалякал. Никогда не умел четко выражать мысли. Жду вашей помощи.

aiscy

Окт. 5, 2017 10:21:06

 import requests
import time
import pprint
def main():
    bots_inventory = requests.get('https://cs.money/load_bots_inventory', params=dict(hash=round(time.time()) * 1000)).json()
    print('{} items'.format(len(bots_inventory)))
    with open('temp_file.txt', 'w', encoding='utf-8') as file:
        pprint.pprint(bots_inventory, file)
if __name__ == '__main__':
    main()