Форум сайта python.su
0
Ребят я новичок в Питоне, решил что знание данного языка сильно облегчит мне мою дальнейшую жизнь с этих соображений начал изучение. Как любой разумный человек знаю что самое лучшее обучение это обучение в работе над конкретной задачей. Задачу придумал, хочу написать простенький парсер сайта. Но возникли вопросы.
Как я понял мне нужен следующий алгоритм,
1. моя программа должна заходить на нужный мне url
почитал в инете нашел инфу что это можно сделать с модулем Request. Ок посредством Request у меня получилось зайти на нужный мне сайт.
2. Мне нужно сохранять результат того что мне возвращает библиотека Request. Имею в виду html кодж самой страницы, и создавала бы файлы в которые сохранялся бы код исходной страницы.
3. Мне нужен модуль который будет работать над исходным кодом страницы, и даст мне возможность разбирать html по мне нужным частям. Вроде это можно реализовать посредством lxml.
Так вот ребята вопросы:
Каким методом Модуля Request я могу получить доступ к самому коду страницы r.text возвращает только тег <head> ???
Как мне реализовать создание и сохранение исходного кода страницы в Файл для последующей обработки ??? что для этого нужно
И еще я не смог установить модуль urllib2 потому как у меня Python 3.6.1, а данный модуль идет из коробки в Python 2 и там нужно устанавливать какие то зависимости и прочий бред. Ребят это же рили печаль со всеми этими модулями совместимостями, нет ничего такого типа Composer в Python ?
Офлайн
11
Все нормально r.text() возвращает:
import requests r = requests.get('http://google.ru') print(r.text)
Офлайн
221
Adilakavovа зачем сохранять? путь лежит себе в памяти. lxml не нужен файл с html
Как мне реализовать создание и сохранение исходного кода страницы в Файл для последующей обработки ??? что для этого нужно
Adilakavovа зачем он тебе? Это устаревший модуль. Вместо нег ов питоне 3 используется просто urllib
И еще я не смог установить модуль urllib2 потому как у меня Python 3.6.1,
krok64Да в общем то нету никакой печали
Ребят это же рили печаль со всеми этими модулями совместимостями,
krok64есть менеджер пакетов PIP и его достаточно. И он работает.
нет ничего такого типа Composer в Python ?
Отредактировано JOHN_16 (Июль 10, 2017 14:47:06)
Офлайн
221
AdilakavovА вот тут можно поподробнее? Чем вы занимаетесь и что хотите упростить?
решил что знание данного языка сильно облегчит мне мою дальнейшую жизнь
Офлайн