Python-сообщество

philips2009 · Март 20, 2019 20:05:26

Здравствуйте дорогие форумчане!
Создал скрипт для паркинга информации с сайта объявлений с последующей записью в бд MySQL на локальном ПК. Прицип таков:
1. загрузка всех записанных ссылок объявлений из бд MySQL в питоновский список (checked_urls)
2. загрузка всех уникальных ссылок объявлений с сайта в питоновский список (unchecked_urls)

if url not in checked_urls:
    unchecked_urls.append(url)

3. сам парсинг инфы с каждой ссылки (объявления) из unchecked_urls и запись в бд.

По ходу создания заметил что есть случаи одна и та же ссылка но информация другая или кое что добавлено или изменено, то есть пользователь не создал новое объявление а изменил старое. Появилась необходимость проверки состава записанного объявления из бд с тем что на сайте. В этом у меня проблема, помогите пожалуйста.
Заранее благодарю.

Отредактировано philips2009 (Март 20, 2019 20:06:22)

py.user.next · Март 21, 2019 00:28:30

philips2009
Появилась необходимость проверки состава записанного объявления из бд с тем что на сайте. В этом у меня проблема, помогите пожалуйста.

Нужно сделать хеш содержимого для каждой ссылки. Хеши хранишь в БД. При взятии содержимого с сайта ты делаешь его хеш и сравниваешь с хешем из БД. Если хеши не равны, надо пересохранить содержимое. Почему хеши делать, а не сразу сравнивать - потому что хеши короткие и быстрее читаются с базы. Если содержимое будет равно мегабайту, то его хеш всё равно будет равен нескольким байтам.

philips2009 · Март 22, 2019 17:13:11

Благодарю за дельный совет

Python-сообщество

Уведомления

#1 Март 20, 2019 20:05:26

Проверка инфы из MySQL

#2 Март 21, 2019 00:28:30

Проверка инфы из MySQL

#3 Март 22, 2019 17:13:11

Проверка инфы из MySQL

Board footer