Найти - Пользователи
Полная версия: Парсинг закрытого сайта
Начало » Python для новичков » Парсинг закрытого сайта
1 2 3
roggerg
Хотел попробовать парсить сайт, доступ к которому происходит после соединения по vpn, т.е включаю vpn открываю любой браузер, страница отображается а когда пытаюсь парсить то происходит ошибка доступа.. Куда копать?
JOHN_16
Что за ошибка доступа? Не ясно.
KasFun
как вариант, подключаетесь по VPN а затем загружаете к себе на компьютер сайт целиком
и делаете с ним, все, что хотите
JOHN_16
KasFun
что за советы вы даете. А по урлам как ходить? Понимаете зачем вообще парсят сайты?
py.user.next
roggerg
доступ к которому происходит после соединения по vpn
Соединение через VPN бывает разным, на разных сетевых уровнях. Оно может быть программным, а может быть аппаратным.

roggerg
т.е включаю vpn открываю любой браузер, страница отображается
Вот ты выясни, в браузерах что-нибудь прописывается для такого подключения или же делается специальное соединение, а браузеры даже не знают, что оно защищённое и просто им пользуются.
roggerg
py.user.next
В браузере ничего не прописываю, ни логинов ни паролей. Это просто корпоративный сайт, за vpn.
Не очень понял про vpn. Что значит аппаратный или программный? Я просто запускаю утилиту, деловская вроде.
roggerg
JOHN_16
Что за ошибка доступа? Не ясно.
А вот ошибка
HTTP Error 401.2 - Unauthorized: Access is denied due to server configuration
py.user.next
roggerg
В браузере ничего не прописываю, ни логинов ни паролей.
В браузерах может прописаться софт, через который ты подключаешься. Прямо при установке этого софта может быть настройка браузеров. Может и этот софт при включении перехватывать браузеры и пускать через определённое соединение.

roggerg
Не очень понял про vpn. Что значит аппаратный или программный?
VPN бывают по-разному устроены. Когда ты говоришь “я подключаюсь через VPN”, это не значит ничего определённого. VPN может быть сделан на уровне Ethernet-трафика - это под IP. VPN - это понятие растяжимое, а ты говоришь так, будто это значит только одно.
papuas
roggerg
А вот ошибка
HTTP Error 401.2 - Unauthorized: Access is denied due to server configuration
Так не пойдет.
Входной инфы слишком мало.
Решение этой ошибки не может быть конкретным.
Она может происходить по всяким причинам.
А мы не из тех людей кто любит жить догадками.
roggerg
py.user.next
в браузере никокого дополнительного софта не прописывается. Например я беру любой другой браузер, то сайт открывается.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB