Python-сообщество

Имеем большой проект который должен по заданному промежутку времени парсить один сайт на котором обновляется информация. Сайт имеет капчу, но выдаёт её только если узнает что пользователь робот. 4 день мучаюсь, никак не могу понять как автоматизировать скрипт. В headers писал всё и по отдельности и так и сяк. Ставил долгие time.sleep'ы. В книге Р.Митчелла сказано, что можно обойти защиту с помощью headers, но мне нужно делать это постоянно, а сайт рано или поздно “палит” робота. Пытался с перебором hedaers в списке для каждой страницы, не помогло. Есть ли решение вообще?

Djo0513
В headers писал всё и по отдельности и так и сяк.

py.user.next
Вручную не выдаёт, у него проверка на бота и после редирект что ли, на сайт, а если робот то на капчу. В заголовках писал очень много всего, даже на мозилу расширение скачал для проверки отправленных заголовков браузером и оттуда тупо копировал.

Отредактировано Djo0513 (Сен. 8, 2017 21:21:12)

Обычно все эти проверки базируются на заголовках.

Djo0513
Вручную не выдаёт, у него проверка на бота и после редирект что ли, на сайт, а если робот то на капчу.

Djo0513
В заголовках писал очень много всего

Отредактировано py.user.next (Сен. 9, 2017 01:13:48)

py.user.next

 import requests
from pprint import pprint
from bs4 import BeautifulSoup
import re
import time
import random
import csv
#proxies = [{'http': 'http://213.149.105.12:80'}, {'http': 'http://09.111.235.90:80'}, {'http': 'http://52.42.192.151:80'}, {'http': 'http://88.159.43.160:80'}]
def crauler(headers):
    time.sleep(30)
    response = requests.get(
        'http://www.propertyguru.com.sg/singapore-property-listing/property-for-sale?market=residential&property_type_code[]=3A&property_type_code[]=3NG&property_type_code[]=3Am&property_type_code[]=3NGm&property_type_code[]=3I&property_type_code[]=3Im&property_type_code[]=3S&property_type_code[]=3STD&property_type=H&freetext=Queenstown&hdb_estate[]=20&ps=1', headers=headers)
    time.sleep(20)
    bsobj = BeautifulSoup(response.text, 'lxml')
    time.sleep(20)
    target = bsobj.find('div', class_='listing-list listings-page-results enabled-boost')
    print(bsobj)
    for i in target.findAll('div', class_='row'):
        print(i.a['title']+'\n\n')
        for li in i.find('li', class_='lst-sizes'):
            print(li)
def main():
  spisok = [{"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0",
               'Host': 'www.propertyguru.com.sg',
               'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Connection': 'keep-alive', 'Accept-Encoding': 'gzip, deflate'}, {}] #  Писал сюда много чего, после удалил, так как менял способ
   for i in spisok:
    crauler(i)
  
main()

Djo0513
Вручную не выдаёт

py.user.next
Так я же поставил длительные time.sleep'ы, всё равно палит

Djo0513

  time.sleep(20)
    bsobj = BeautifulSoup(response.text, 'lxml')
    time.sleep(20)[/quote]

Ну я в браузере обновил с паузой в 1 минуту, точно так же капчу выдаёт после третьего раза.

py.user.next
Слишком длинные time.sleep'ы не мой конёк, этот скрипт в проекте значимую роль не играет. А через прокси ломаться будет, что делать?

Djo0513
Сайт имеет капчу, но выдаёт её только если узнает что пользователь робот.