Уведомления

Группа в Telegram: @pythonsu

#1 Май 21, 2023 14:37:29

philips2009
Зарегистрирован: 2017-05-09
Сообщения: 45
Репутация: +  0  -
Профиль   Отправить e-mail  

Проблема при извлечении информации и сайта

Доброго времени суток уважаемые форумчане!

Нашел сайт объявлений с которого необходимо спарсить информацию, но при его рассмотрении, наткнулся на проблему что номер телефона скрыт (в коде его нет) и для того чтобы увидеть нужно кликнуть.
При изучении кода страницы, заметил что присутствует зашифрованная строка в атрибуте “data-rd” тэга “span”:

 <span class="scratch" data-rd="z|eNqzSVTIKEpNs1UqSc2xMjC3MFUwMFUwMbFUskPi2Ogn2uko2BCrFAB5qxQJ">078<span>Показать номер</span></span>
которая у каждого объявления разная, но некоторые её части повторяются. Пытался декодировать данную строку, кодировать сам номер телефона, так и не нашел решение.

Помогите пожалуйста найти решение как спарсить номер телефона с библиотекой requests не прибегая к BeautifulSoup.
Заранее спасибо

Офлайн

#2 Май 21, 2023 23:39:09

py.user.next
От:
Зарегистрирован: 2010-04-29
Сообщения: 9716
Репутация: +  842  -
Профиль   Отправить e-mail  

Проблема при извлечении информации и сайта

Data Mining тут ни при чём.
wiki. Data mining

Не следует путать с Извлечение информации.
Не следует путать с Извлечение знаний.

Более полным и точным является словосочетание «обнаружение знаний в базах данных» (англ. knowledge discovery in databases, KDD).

Основу методов data mining составляют всевозможные методы классификации, моделирования и прогнозирования, основанные на применении деревьев решений, искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. К методам data mining нередко относят статистические методы (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей). Такие методы, однако, предполагают некоторые априорные представления об анализируемых данных, что несколько расходится с целями data mining (обнаружение ранее неизвестных нетривиальных и практически полезных знаний).
Например, если большие объёмы птиц в разные годы умирали в одном и том же месте по данным какой-то базы данных, составленной за несколько лет просто про птиц каких-то, то так можно открыть нефтяное месторождение в таком-то треугольнике, потому что разливы нефти коррелируют с гибелью птиц, которые питаются там отравленной рыбой. Была база данных про птиц, а появилась база данных про нефтяные месторождения. И вот появилась она как раз в результате процесса Data mining.

philips2009
Пытался декодировать данную строку, кодировать сам номер телефона, так и не нашел решение.
Так человек специально её шифровал, чтобы ты её не парсил. Это не просто так всё, это не какое-то там сжатие или оптимизация для скорости загрузки страницы.



Отредактировано py.user.next (Май 21, 2023 23:47:28)

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version