Уведомления

Группа в Telegram: присоединиться

#1 Ноя. 10, 2019 12:23:49

gtlhbkkj
Зарегистрирован: 2019-09-20
Сообщения: 37
Репутация: +  0  -
Профиль   Отправить e-mail  

Selenium. можно ли подменить заголовки в запросе и как ?

запускаю Firefox через гекодрайвер и через тор
- хотя тор подменяет ай-пи, но хотелось бы и User-Agent также периодически менять. Это возможно? как?


 def f_parse(_output_file):
    # здесь парсится этот файл и что-то возвращается
    return(spisok)
####### НАЧАЛО программы
import selenium
from selenium import webdriver
import requests
from bs4 import BeautifulSoup
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from bs4 import BeautifulSoup
from pathlib import Path
import os
import time
#
from selenium import webdriver
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile
import os
torexe = os.popen(r'E:\PF\Tor Browser\Browser\TorBrowser\Tor\tor.exe')
profile = FirefoxProfile(r'E:\PF\Tor Browser\Browser\TorBrowser\Data\Browser\profile.default')
profile.set_preference('network.proxy.type', 1)
profile.set_preference('network.proxy.socks', '127.0.0.1')
profile.set_preference('network.proxy.socks_port', 9050)
profile.set_preference("network.proxy.socks_remote_dns", False)
profile.update_preferences()
browser = webdriver.Firefox(firefox_profile= profile, executable_path=r'E:\Python\Geckodriver\geckodriver.exe')
_url = "https://www.xxxx.com"
browser.get(_url)
spis = ["0110R0","0330R0","0330D0"]
for _name_element in spis:
    searchbox = browser.find_element(By.XPATH, '//*[@id="txt_ArtSearch"]')
    searchbox.clear()
    searchbox.send_keys(_name_element)
    searchbox.send_keys(Keys.ENTER)
    time.sleep(3)
    _output_file = browser.page_source
    spisok = f_parse(_output_file)    
    print(spisok)
browser.close()
browser.quit()


Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version