KyleshiK
а этот скрипт может брать “in.json” отсюда?
Ты можешь рядом написать второй скрипт, который только скачивает и сохраняет файл под именем in.json.
Потом просто запускаешь скрипт скачивания и за ним скрипт парсинга.
Почему надо так разделять скрипты? Потому что не всегда тебе нужно распарсить то, что нужно сначала скачать, иногда оно уже у тебя есть скачанное. Иногда нужно этот список просто скачать и не парсить его или парсить другим парсером по другому принципу.
Когда у тебя скрипты разделены, ты можешь иметь несколько разных скачивальщиков и несколько разных парсеров одновременно. И такие парсеры ты можешь применять вообще друг за другом. Кроме парсеров у тебя ещё могут быть отправляльщики или сохраняльщики в базы данных.
Цепочка скриптов может быть, например: скачивальщик -> парсер1 -> парсер2 -> сохраняльщик в базу -> парсер3 -> закачивальщик.
То есть в такой цепочке ты получаешь список, потом парсишь его одним парсером и получаешь результат, который передаёшь на второй парсер и получаешь результат, который сохраняешь в базу и получаешь ответ от базы, который ты парсишь и получаешь результат, который ты отправляешь на сайт.
Это конвейер. И ты его можешь строить по-разному. Ты можешь парсеры менять местами, действия менять местами. Такое возможно только тогда, когда у тебя скрипты разделены на независимые программы, которые не знают, что и откуда приходит и что и куда дальше отправляется.