но я не понимаю как мне это сделать, чтобы парсер сам заходил в категорию парсил все под категории потом сам заходил в под категории и смотрел есть ли там еще под категории а потом возвращался и брал новую Категорию с под категориями и делал то же. Вот так примерно выглядит Древо сайта
Категория:
под Категория
под Категория
под Категория
под под Категория
Категория1:
под Категория
под Категория
под Категория
под под Категория
Категория2:
под Категория
под Категория
под Категория
под под Категория
Категория3:
под Категория
под под Категория
под под Категория
Категория
под Категория
под под Категория
вот пример кода который я пытался написать
g.go(cat_url)
for elem in g.doc.select("//a[@class='mainHitsSection catalogLvl2ItemHd']"):
f.writelines(elem.attr("title") + "\n")
counter+=1
Кто понимает что я имею ввиду помогите пожалуйста.