Главный инструмент - это наверно все-таки инспектор и консоль браузера. А питон - это то куда потом вставляешь полученные оттуда селекторы.

lorien
Где это может быть важно?

Там где чудаки на букву м не придумали установку бинарных зависимостей, XBMC, например.

Решил завести на github репозиторий со список web scraping библиотек для разных языков. Для начала перенёс туда список из этого топика.
Репозиторий: https://github.com/lorien/web-scraping
Список для python: https://github.com/lorien/web-scraping/blob/master/python.md

Помогите есть такая проблема как получить данные из www.instagram.com/direct/inbox у выбранного пользователя нужное слово я тут побывал и не могу заставить получить данные с поля сообщения
слово Привет

browser.find_element_by_xpath(
'//*/section/div/div/div/div/div/div/div/div/div/div/div').click()
time.sleep(random.randrange(2,6))

url = browser.find_element_by_xpath('//*/section/div/div/div/div/div')

r = requests.get(url)
soup = BeautifulSoup(r.content, ‘html.parser’)
for x in (soup.find_all(string=re.compile('Привет', flags=re.I))):
print(x)

Большое спасибо за подборку