Друзья, пишу парсер алиэкспресс, но столкнулся с проблемой избирательного парсинга: скрипт пропускает страницы, причем от запуска к запуску с одинаковыми данными количество пропускаемых страниц разное.
Принцип действия парсера:
1 обрабатываем страницу поиска по галерее сайта, вставляя поисковый запрос через инпут
2 получаем товары определенной категории и делаем следующее:
На каждой странице заказа товара парсим ссылку на изображение товара и скачиванием img в папку
ссылки на заказ товаров кладем в файл и нумеруем в соответствии с номером фото к ссылке.
3 После обработки страницы галерее переходим на следующую и т д до 1000 стр
Почему порсер пропускает некоторые страницы, скачивая на них всего пару фото либо игнорирует вовсе?
Искомый тег с ссылкой есть и на пропускаемых товарах.
код в файле
P S Просьба проверить код на говнокодность и дать советы по исправлению (если не трудно)