Уведомления

Группа в Telegram: @pythonsu

#1 Ноя. 10, 2019 12:23:49

gtlhbkkj
Зарегистрирован: 2019-09-20
Сообщения: 173
Репутация: +  2  -
Профиль   Отправить e-mail  

Selenium. можно ли подменить заголовки в запросе и как ?

запускаю Firefox через гекодрайвер и через тор
- хотя тор подменяет ай-пи, но хотелось бы и User-Agent также периодически менять. Это возможно? как?


 def f_parse(_output_file):
    # здесь парсится этот файл и что-то возвращается
    return(spisok)
####### НАЧАЛО программы
import selenium
from selenium import webdriver
import requests
from bs4 import BeautifulSoup
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from bs4 import BeautifulSoup
from pathlib import Path
import os
import time
#
from selenium import webdriver
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile
import os
torexe = os.popen(r'E:\PF\Tor Browser\Browser\TorBrowser\Tor\tor.exe')
profile = FirefoxProfile(r'E:\PF\Tor Browser\Browser\TorBrowser\Data\Browser\profile.default')
profile.set_preference('network.proxy.type', 1)
profile.set_preference('network.proxy.socks', '127.0.0.1')
profile.set_preference('network.proxy.socks_port', 9050)
profile.set_preference("network.proxy.socks_remote_dns", False)
profile.update_preferences()
browser = webdriver.Firefox(firefox_profile= profile, executable_path=r'E:\Python\Geckodriver\geckodriver.exe')
_url = "https://www.xxxx.com"
browser.get(_url)
spis = ["0110R0","0330R0","0330D0"]
for _name_element in spis:
    searchbox = browser.find_element(By.XPATH, '//*[@id="txt_ArtSearch"]')
    searchbox.clear()
    searchbox.send_keys(_name_element)
    searchbox.send_keys(Keys.ENTER)
    time.sleep(3)
    _output_file = browser.page_source
    spisok = f_parse(_output_file)    
    print(spisok)
browser.close()
browser.quit()


Офлайн

#2 Ноя. 27, 2019 18:55:30

DamMercul
Зарегистрирован: 2017-11-26
Сообщения: 325
Репутация: +  13  -
Профиль   Отправить e-mail  

Selenium. можно ли подменить заголовки в запросе и как ?

 from selenium import webdriver
profile = webdriver.FirefoxProfile()
profile.set_preference("general.useragent.override", "whatever you want")
driver = webdriver.Firefox(profile)
Взято из https://stackoverflow.com/questions/29916054/change-user-agent-for-selenium-driver
Нашел за 2 секунды, зачем писать на форум?



____________________________________________________

 # Life loop
while alive:
    if (fun > boredom) and money:
        pass_day(fun, boredom, money)
        continue
    else: break

Отредактировано DamMercul (Ноя. 27, 2019 18:57:32)

Офлайн

#3 Дек. 8, 2019 13:51:14

gtlhbkkj
Зарегистрирован: 2019-09-20
Сообщения: 173
Репутация: +  2  -
Профиль   Отправить e-mail  

Selenium. можно ли подменить заголовки в запросе и как ?

DamMercul
Взято из https://stackoverflow.com/questions/29916054/change-user-agent-for-selenium-driver
Нашел за 2 секунды, зачем писать на форум?
благодарю вас - для вас это 2 секунды
искал долго
не нашел
значит неправильно искал

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version