Python-сообщество

# -*- coding: utf-8 -*-

"""Не секрет, что сервис imagevenue.com меняет адрес картинки каждый раз
при обновления страницы. Не так-то просто загрузить несколько картинок
сразу в данной ситуации. Эта программа призвана упростить данный процесс.

Также с ее помощью можно загружать материалы с imageshack.us и по прямым
ссылкам. Пример:

linkshop.py -l '<a href="imagevenue.com"></a><a href...' -d /каталог

"""

import re
import os
from sys import stderr
from urllib.request import urlopen, urlretrieve
from optparse import OptionParser
from urllib.parse import urlparse


def get_options():
    """Получает опции и аргументы командной строки."""
    parser = OptionParser()
    parser.add_option('-d', '--dir', default='', help='каталог для загрузки')
    options, args = parser.parse_args()

    if not args:
        parser.error('неверное количество аргументов')

    return options, args


def download(options, args):
    """Получает адреса страниц из href-атрибутов аргумента,
    который должен быть обычным HTML-кодом. Используя адреса,
    загружает страницы, находит там картинки и их тоже загружает.

    """

    matches = re.findall('href="(.+?)"', args)

    if not matches:
        return

    for (key, url) in enumerate(matches):
        print('\n%s из %s (%s)\nПолучение страницы...' % (key + 1,
                                                          len(matches), url))

        try:
            url_open = urlopen(url)
        except ValueError:
            stderr.write('Неверный формат ссылки\n')
            continue

        try_again = 'y'

        while try_again == 'y':
            url_open = urlopen(url)
            content = url_open.read()
            url_open.close()

            if not content:
                try_again = input('ERROR. Попробовать еще раз? (y or n)')
            else:
                break

        url_parsed = urlparse(url)
        netloc = url_parsed.netloc

        if 'imageshack' in netloc:
            matches = re.search('<link rel="image_src" href="(.+?)"',
                                content)
            url = matches.group(1)
        elif 'imagevenue' in netloc:
            matches = re.search('SRC="(.+?)"', content)
            url = 'http://%s/%s' % (netloc, matches.group(1))

        print('Загрузка картинки...')
        url_parsed = urlparse(url)
        file_name = url_parsed.path.split('/')[-1]
        down_name, _headers = urlretrieve(url,
                              os.path.join(options.dir, file_name))

        if os.path.isfile(down_name):
            print('OK')
        else:
            stderr.write('ERROR\n')


if __name__ == '__main__':
    OPTIONS, ARGS = get_options()
    download(OPTIONS, ARGS[0])

def get_options():
    """Get command-line options"""
    parser = OptionParser()
    parser.add_option('-l', '--links')
    parser.add_option('-d', '--dir', default='/media/sda5/tmp/images')
    (options, args) = parser.parse_args()
    return options

from __future__ import print_function
from timeit import Timer
time=Timer()

def f():
     pass

t1=time.timer()
for i in xrange(1000000):
    f()

t2=time.timer()-t1
print ('def',t2)

t1=time.timer()
for i in xrange(1000000):
    pass

t2=time.timer()-t1
print ('not def',t2)

def 0.246202945709
not def 0.0379729270935

if __name__ == '__main__':
    timer = Timer()
    start = timer.timer()
    OPTIONS, ARGS = get_options()
    print(timer.timer() - start)

if __name__ == '__main__':
    timer = Timer()
    start = timer.timer()
    parser = OptionParser()
    parser.add_option('-d', '--dir', default='', help='каталог для загрузки')
    options, args = parser.parse_args()

    if not args:
        parser.error('неверное количество аргументов')

    print(timer.timer() - start)