Python-сообщество

wesmokeweed · Окт. 4, 2017 20:14:27

Всем доброго времени суток. С парсингом на питоне, да и просто с парсингом ни разу не сталкивался. Требуется запарсить сайт CS.MONEY, а именно данный div-блок: *скриншот* . Но в связи с моей неопытностью(криворукостью) не обошлось без проблем. Вот собственно и они:

1) Сайт не парсится. При попытке запустить скрипт, вылазит эта ошибка: *скриншот*. Причем не парсится только этот сайт, с остальными все в порядке. Код:

 import urllib.request
from bs4 import BeautifulSoup
def get_html(url):
	response = urllib.request.urlopen(url)
	return response.read()
def main():
	print(get_html('https://cs.money/'))
if __name__ == '__main__':
	main()

2) Даже если бы скрипт смог запарсить сайт, в html-коде отображается нет информации по тому div-блоку, который нужен мне. Что бы было понятнее, вот скриншоты: *скриншоты*.

3) Допустим, я решил 1 и 2 проблемы, но есть еще одна. При открытии страницы в html-коде загружаются не все элементы(оружия), а лишь часть из них. Что бы загрузить все элементы(оружия), нужно скролить вниз этот div-блок.

Надеюсь, вы поняли, что я тут накалякал. Никогда не умел четко выражать мысли. Жду вашей помощи.

Отредактировано wesmokeweed (Окт. 4, 2017 20:39:56)

someone_who_has_mind · Ноя. 5, 2017 19:13:57

Юзай requests - он намного лучше и удобнее urllib.

sander · Ноя. 5, 2017 23:20:36

wesmokeweed
во время загрузки открой консоль, вкладка Network. там нужные данные грузятся по ссылке (хэш может меняется) https://cs.money/load_bots_inventory?hash=1509916571322

Python-сообщество

Уведомления

#1 Окт. 4, 2017 20:14:27

Проблемы с парсингом сайта

#2 Ноя. 5, 2017 19:13:57

Проблемы с парсингом сайта

#3 Ноя. 5, 2017 23:20:36

Проблемы с парсингом сайта

Board footer