Уведомления

Группа в Telegram: @pythonsu

#1 Март 16, 2018 21:38:26

roggerg
Зарегистрирован: 2015-03-12
Сообщения: 61
Репутация: +  0  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

вот сайт Your text to link here…
vpn клиента и скриншот

Офлайн

#2 Март 16, 2018 22:46:04

Kasta_neda
Зарегистрирован: 2014-06-08
Сообщения: 210
Репутация: +  6  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

Думаю vpn проводит трафик по своему каналу а вот там сам сайт смотрит User-Agent. Пробуйте менять его, смотря на запросы ответы.
VPN это просто канал.

Отредактировано Kasta_neda (Март 16, 2018 22:47:40)

Офлайн

#3 Март 17, 2018 00:59:24

JOHN_16
От: Россия, Петропавловск-Камчатск
Зарегистрирован: 2010-03-22
Сообщения: 3292
Репутация: +  221  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

Согласен, это из разряда воспользоваться wget / curl / httpie что бы проверить что оно будет. не будет работать



_________________________________________________________________________________
полезный блог о python john16blog.blogspot.com

Офлайн

#4 Март 17, 2018 11:08:33

KasFun
Зарегистрирован: 2018-03-10
Сообщения: 14
Репутация: +  0  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

JOHN_16
А по урлам как ходить?

wget -r -k -l 7 -p -E -nc https://site.ru/

Офлайн

#5 Март 17, 2018 11:23:18

JOHN_16
От: Россия, Петропавловск-Камчатск
Зарегистрирован: 2010-03-22
Сообщения: 3292
Репутация: +  221  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

KasFun
оч смешно. Прям решение уровня продакшен. А главное как хорошо управляется и расширяется. Самое то для автоматизации, роботов и тп.
В общем это так не используют в нормальной реальной жизни.



_________________________________________________________________________________
полезный блог о python john16blog.blogspot.com

Офлайн

#6 Март 18, 2018 04:25:33

papuas
Зарегистрирован: 2015-06-19
Сообщения: 159
Репутация: +  6  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

Ну так если через браузер на сайт вы заходите,
то установите к примеру такой плагин и с его помощью посмотрите, что вы отправляете.
Ну и нам покажите заодно. Вкладка net интерисует, если точнее post удачный.

Отредактировано papuas (Март 18, 2018 04:26:27)

Офлайн

#7 Март 19, 2018 13:32:37

KasFun
Зарегистрирован: 2018-03-10
Сообщения: 14
Репутация: +  0  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

JOHN_16
В общем это так не используют в нормальной реальной жизни.


Почему? очень даже.
Скачал сайт к себе и работай с ним так, как надо. Вспоминаем времена модемов и телефонного интернета

Офлайн

#8 Март 19, 2018 13:47:54

papuas
Зарегистрирован: 2015-06-19
Сообщения: 159
Репутация: +  6  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

KasFun
Почему? очень даже.
Скачал сайт к себе и работай с ним так, как надо. Вспоминаем времена модемов и телефонного интернета
времена простых, одностраничных сайтов прошли.
сейчас людям интересны сервисы.
сам по себе сайт это просто болванка с полями и java скриптами и ajax запросами.(фронтенд)
ну и как вы будете обращаться к бэкенду в оффлайн режиме ?

Отредактировано papuas (Март 19, 2018 13:52:57)

Офлайн

#9 Март 19, 2018 15:18:54

JOHN_16
От: Россия, Петропавловск-Камчатск
Зарегистрирован: 2010-03-22
Сообщения: 3292
Репутация: +  221  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

papuas
хороший пример, но ,вероятно, не эффективный, так как товарищ KasFun, судя по всему, не работает ни в сфере Веба, ни в сфере коммерческой разработки. Так хобби или слегка что то больше.



_________________________________________________________________________________
полезный блог о python john16blog.blogspot.com

Офлайн

#10 Март 19, 2018 19:45:41

roggerg
Зарегистрирован: 2015-03-12
Сообщения: 61
Репутация: +  0  -
Профиль   Отправить e-mail  

Парсинг закрытого сайта

А админы могут заблокировать меня, если видят что я пытаюсь получить доступ к страницы через скрипт?
Спрашиваю, потому что вчера у меня были проблемы со входом через vpn. На следующий день впн заработал, но теперь не знаю стоит ли дальше экспериментировать.

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version