Уведомления

Группа в Telegram: @pythonsu

#1 Фев. 21, 2013 07:00:17

smoke853
Зарегистрирован: 2012-10-02
Сообщения: 123
Репутация: +  15  -
Профиль   Отправить e-mail  

Не знаю с чего начать.

Вообщем возник такой вопрос:
Допустим мне нужно с какого-то сайта скачать набор каких-нибудь файлов (аудио, фото, видео, текстовые файлы, таблицы excel к примеру, pdf файлы и т.д.). Собственно что мне для этого нужно и можно ли такое сделать на Python? какие модули поставить, может какие-нибудь статьи есть на эту тему. Просто что касается web я в этом полный 0, т.е. тупо даже не знаю с чего начать и про что гуглить

P.S. пишу на python 3.3.0.

Отредактировано smoke853 (Фев. 21, 2013 07:11:24)

Офлайн

#2 Фев. 21, 2013 10:01:33

GaiveR
От:
Зарегистрирован: 2011-08-13
Сообщения: 122
Репутация: +  16  -
Профиль   Отправить e-mail  

Не знаю с чего начать.

Вопрос-то в чём, как скачать файл зная его url? Или надо спарсить с сайта ссылки на файлы и все их выкачать?



Офлайн

#3 Фев. 21, 2013 10:09:21

smoke853
Зарегистрирован: 2012-10-02
Сообщения: 123
Репутация: +  15  -
Профиль   Отправить e-mail  

Не знаю с чего начать.

GaiveR, например: есть сайт goodfon.ru, и мне надо скачать обои из раздела текстуры допустим за вчерашний день, при этом обои должны быть только 1920х1080.
P.S. как и я написал выше я в этом полный 0, что такое спарсить ссылки я не знаю, может нужно и спарсить

P.S. готовый скрипт мне не нужен, мне нужна помощь именно в том с чего начать, документацию каких модулей почитать и т.д. Просто я вообще не представляю как это делается, и в какую сторону капать.

Отредактировано smoke853 (Фев. 21, 2013 10:11:30)

Офлайн

#4 Фев. 21, 2013 13:22:12

mks
От:
Зарегистрирован: 2009-08-07
Сообщения: 80
Репутация: +  5  -
Профиль   Отправить e-mail  

Не знаю с чего начать.

Посмотрите эти уроки о применении библиотеки Grab. Правда она насколько я помню для 2-го питона.



Офлайн

#5 Фев. 21, 2013 13:41:53

GaiveR
От:
Зарегистрирован: 2011-08-13
Сообщения: 122
Репутация: +  16  -
Профиль   Отправить e-mail  

Не знаю с чего начать.

smoke853 гуглите на тему парсинга сайтов.
В начале я бы рекомендовал спарсить что-нибудь без узкоспециализированных библиотек вроде grab. Когда будет базовое понимание того как это происходит, можно знакомиться с специализированными библиотеками.

Краткий алгоритм такой:
1. Получить страницу с данными (requests, urllib)
2. Разобрать её (lxml, в некоторых случаях достаточно re)
3. Выкачать/сохранить на диск необходимую информацию.
4. Получить очередную страницу с данными.



Отредактировано GaiveR (Фев. 21, 2013 16:08:56)

Офлайн

#6 Фев. 21, 2013 13:50:50

smoke853
Зарегистрирован: 2012-10-02
Сообщения: 123
Репутация: +  15  -
Профиль   Отправить e-mail  

Не знаю с чего начать.

mks, GaiveR и FishHook большое спасибо, буду изучать

Отредактировано smoke853 (Фев. 21, 2013 13:53:43)

Офлайн

#7 Фев. 21, 2013 13:51:57

FishHook
От:
Зарегистрирован: 2011-01-08
Сообщения: 8312
Репутация: +  568  -
Профиль   Отправить e-mail  

Не знаю с чего начать.

smoke853
Просто я вообще не представляю как это делается, и в какую сторону капать.
Минимально освоить HTML и HTTP для начала. Литературы - океан.



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version