Найти - Пользователи
Полная версия: Парсинг сайта с авторизацией
Начало » Python для новичков » Парсинг сайта с авторизацией
1
BA
Всем привет!
Ребят подскажите пжт, как спарсить информацию сайта, если на этом сайте нужна регистрация. Я зарегистрировался, но не получается парсить “супом”. Может кто дельный совет даст, а еще лучше подскажет, к сведению информация парсится исключительно в исследовательских целях!! Плиз, подскажите как лучше сделать!
К примеру вот фрагмент кода:
from bs4 import BeautifulSoup
import requests

URL_BASE = 'http/…..'
URL_SEARCH_MANUFACTURER = 'http/…..'

with requests.Session() as c:
URL_AUTHORIZATION = 'http/…../Account/Login'
USERNAME = ‘….@mail.com
PASSWORD = ‘123456789’
r = requests.get(URL_AUTHORIZATION)
login_data = dict(username = USERNAME, password = PASSWORD)
page = c.get(URL_BASE)#.content
print(page.content)
papuas
Причем тут суп если в приведенном примере вы используете библиотеку requests.
Авторизация на вкус и цвет - разная, везде свои модели поведения. (начиная от получения временных id, куков, сертификатов и т.д.)
По-моему для того, чтобы отослать данные web серверу нужно использовать метод post и указать в какую форму отправить данные для авторизации и уже следущий запрос get.
И да… обертывайте пж код в тэг.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB