Python-сообщество

ayb
Очень спорно. Мне от сайта нужны данные, а что там с логикой js мне по барабану. js не генерирует данные, а получает из внешнего источника.

А вот нету никаких данных. Есть страничка сгенеренная ПХП и куча всяких фильтров - селектов, чекбоксов, радиокнопок на которые повешены обработчики ончейндж, которые показывают или хайдят строчки таблицы.

ayb
js не генерирует данные, а получает из внешнего источника.

Мне кажется вы тут сами себе противоречите. Да js получает данные. Не запустите js или его аналог, не получите данные. Вопрос в том что проще. Сделать самому имитатор js или разобрать то, что получается в результате его выполнения. Обычно проще разобрать результат :). У вас конечно может быть другой случай.

Давайте разберем реальный пример:
Есть сайт с бесплатным списком прокси: http://spys.ru/free-proxy-list/RU/
На нем, с помощью JS довольно просто зашифрован порт

Я нагуглил скрипт https://github.com/deapge/twi/blob/master/proxy/fetch_proxy_ip/spys.ru.py
Как видно из тела скрипта он для каждого порта на странице пробегает по своему списку соотношения закодированной цифры порта к раскодированной

Видите ли вы еще какие нибудь способы решить эту задачу?

Попробуй посмотреть в сторону phantomjs или кучи его клонов casperjs, nightmarejs. Но это javascript

Зачем ? Есть готовый скрипт ? В чем проблема ? Зашифровано конечно

Отредактировано FishHook (Янв. 18, 2016 15:16:09)

ayb
У нас форум высокой культуры быта!

ayb
Зачем ? Есть готовый скрипт ? В чем проблема ? Зашифровано конечно

Наверное шифр изменился и скрипт уже устарел.

Xion
Попробуй покопаться в коде, разобрать строки типа 76, 102 в view-source:http://spys.ru/free-proxy-list/RU/ (firefox), может поймешь алгоритм.
Или Selenium заюзай, что бы не мучиться

Помог бы больше но времени сейчас нет.

Отредактировано WoMax (Янв. 18, 2016 16:31:42)

Я бы хотел найти вариант чтобы разбирать ничего не пришлось, ведь в браузере я яваскрипты не разбираю - они сами разбираются

Xion
Я бы хотел найти вариант чтобы разбирать ничего не пришлось, ведь в браузере я яваскрипты не разбираю - они сами разбираются

Тогда селениум и прочая ересь для слабаков

Xion
Я бы хотел найти вариант чтобы разбирать ничего не пришлось, ведь в браузере я яваскрипты не разбираю - они сами разбираются

Но тут на самом деле работы на 5 минут, можно просто обновить шифры в уже готовом скрипте, и не писать свой парсер.

Отредактировано ayb (Янв. 20, 2016 10:50:59)