Форум сайта python.su
Добрый вечер
Хотел бы узнать методы, которыми можно реализовать перенос контента с определенного сайта на мой
Недавно начал изучать библиотеку парсинга urllib и регулярные выражения, для выгрузки определенного контента нескольких сайтов, но встает вопрос относительно загрузки этого контента на “мой” сайт в автоматическом режиме, в качестве пользователя и публикации новости в определенном разделе. (могу авторизоваться на сайте, но каким образом возможно передать информацию из парсера в сообщение пользователя - для меня загадка)
для общего понимания картины можно импользовать этот сайт как пример места, в которое нужно загрузить информацию.
пс.
форум на xenforo
Буду очень признателен за помощь
Офлайн
Вот здесь писал, как провести предварительный анализ. И чтение сайта, и запись на сайт сначала должны быть проанализированы с помощью браузера. Потом просто воспроизводишь основные действия обмена с помощью питона. Раньше можно было Wireshark'ом смотреть, но сегодня все сайты работают через https (зашифрованный http), а Wireshark очень сложно настроить на расшифровку.
Отредактировано py.user.next (Янв. 10, 2017 02:38:57)
Офлайн
хм, понял ход мысли
изучил немного литературы, попытался залогиниться на этом сайте с помощью питона
import requests from urllib import urlopen from bs4 import BeautifulSoup class Inf(object): url = "https://python.su/" def auth(self): session = requests.Session() url = self.url + "account/signin/" params = { "csrfmiddlewaretoken":"******************************", "email":"********************", "password":"**************", } r = session.post(url,params) print(r.text) if __name__ == "__main__": print("hello world") inf = Inf() inf.auth()
Отредактировано sl0w (Янв. 11, 2017 01:10:43)
Офлайн
Для разъяснения как такового:
на заинтересован в парсинге этого сайта, но хотел бы разобраться в скрапинге на его примере, к тому же остальным пользователям будет гораздо удобнее смотреть разметку/логирование, на примере этого сайта
Офлайн