Python-сообщество

from optparse import OptionParser
from re import search
from urllib import urlopen
from urlparse import urlparse
from subprocess import call
from os import devnull


def get_options():
    """Get command-line options"""
    parser = OptionParser()
    parser.add_option('-l', '--links')
    parser.add_option('-d', '--dir', default='/media/sda5/tmp/images')
    (options, args) = parser.parse_args()
    return options


def main():
    """The main function

    This function uses a string of HTML tags (<a>text</a> <a><img /></a>)
    as --links option. aria2 is a default downloader. And don't forget to
    change the download directory (--dir).

    """

    options = get_options()

    if options.links:
        links = options.links.split('</a> <a')
        total = len(links)
        dnull = open(devnull, 'w')
        strings = [
            '\n{0} from {1} ({2}) \nGetting the link:',
           'OK ({0})\nDownloading the image:',
           '-d {0}',
           'OK\n',
           'ERROR\n',
           'http://{0}/{1}',
            'Error opening the web page, try again? (y or n)',
        ]

        if total == 0:
            print 'total == 0'
            return 0

        for (key, link) in enumerate(links):
            matches = search('href="(.+?)"', link)
            uri = matches.group(1)
            print strings[0].format(key + 1, total, uri),
            uopen = urlopen(uri)
            content = ''
            uri_parsed = urlparse(uri)
            try_again = True

            while content == '' and try_again:
                content = uopen.read()

                if content == '':
                    key = raw_input(strings[6])

                    if key == 'y':
                        try_again = True
                    else:
                        try_again = False

            if 'imageshack' in uri_parsed.netloc:
                matches = search('<link rel="image_src" href="(.+?)"', content)
                uri = matches.group(1)
            elif 'imagevenue' in uri_parsed.netloc:
                matches = search('SRC="(.+?)"', content)
                uri = strings[5].format(uri_parsed.netloc, matches.group(1))

            print strings[1].format(uri),
            return_code = call(['aria2c', uri, strings[2].format(options.dir)],
                               stdout=dnull)

            if return_code == 0:
                print strings[3],
            else:
                print strings[4],

    return 0


if __name__ == '__main__':
    main()

import re
import os
from urllib import urlopen, urlretrieve
from optparse import OptionParser
from urlparse import urlparse

i18n = [
    '\n{0} from {1} ({2})\nGetting the page...',
    'Downloading an image...',
    'OK',
    'ERROR. Try again? (y or n)',
    'http://{0}/{1}',
    'URI is oblivious',
    'ERROR',
]


def get_options():
    """Get command-line options."""
    parser = OptionParser()
    parser.add_option('-l', '--links')
    parser.add_option('-d', '--dir', default='/media/sda5/tmp/images')
    (options, args) = parser.parse_args()
    return options


def main():
    """This function gets URIs from href attributes of the --links option,
    which must be a basic HTML code. Loading pages by URIs.
    Finds links to images and downloading them.

    """

    options = get_options()

    if options.links is None:
        return 1

    matches = re.findall('href="(.+?)"', options.links)
    total = len(matches)

    if total == 0:
        return 1

    if options.dir[-1] != '/':
        options.dir = ''.join((options.dir, '/'))

    for (key, uri) in enumerate(matches):
        print i18n[0].format(key + 1, total, uri)
        uri_parsed = urlparse(uri)
        try_again = 'y'

        try:
            uopen = urlopen(uri)
        except IOError:
            print i18n[5]
            continue

        while try_again == 'y':
            uopen = urlopen(uri)
            content = uopen.read()
            uopen.close()

            if content == '':
                try_again = raw_input(i18n[3])
            else:
                break

        if 'imageshack' in uri_parsed.netloc:
            matches = re.search('<link rel="image_src" href="(.+?)"',
                                content)
            uri = matches.group(1)
        elif 'imagevenue' in uri_parsed.netloc:
            matches = re.search('SRC="(.+?)"', content)
            uri = i18n[4].format(uri_parsed.netloc, matches.group(1))

        print i18n[1].format(uri)
        uri_parsed = urlparse(uri)
        file_name = uri_parsed.path.split('/')
        (down_name, headers) = urlretrieve(uri,
            ''.join((options.dir, file_name[-1])))

        if os.path.isfile(down_name):
            print i18n[2]
        else:
            print i18n[6]

    return 0


if __name__ == '__main__':
    main()

    total = len(matches)

    if total == 0:
        return 1

if not matches:
    return 1

if content == '':
    try_again = raw_input(i18n[3])
else:
    break

if not content:
    try_again = raw_input("ERROR. Try again? (y or n)")

# -*- coding: utf-8 -*-

"""Не секрет, что сервис imagevenue.com меняет адрес картинки каждый раз
при обновления страницы. Не так-то просто загрузить несколько картинок
сразу в данной ситуации. Эта программа призвана упростить данный процесс.

Также с ее помощью можно загружать материалы с imageshack.us и по прямым
ссылкам. Пример:

linkshop.py -l '<a href="imagevenue.com"></a><a href...' -d /ваш-каталог

"""

import re
import os
from urllib import urlopen, urlretrieve
from optparse import OptionParser
from urlparse import urlparse


def get_options():
    """Получает опции и аргументы командной строки."""
    parser = OptionParser()
    parser.add_option('-d', '--dir', default='')
    return parser.parse_args()


def main():
    """Функция получает адреса страниц из href-атрибутов первого аргумента,
    который должен быть обычным HTML-кодом. Используя адреса,
    загружает страницы, находит там картинки и их тоже загружает.

    """

    (options, args) = get_options()

    if not args:
        return 1

    matches = re.findall('href="(.+?)"', args[0])
    total = len(matches)

    if not matches:
        return 1

    if options.dir and options.dir[-1] != '/':
        options.dir = os.path.join(options.dir, '/')

    for (key, url) in enumerate(matches):
        string = '\n{0} из {1} ({2})\nПолучение страницы...'
        print string.format(key + 1, total, url)
        url_parsed = urlparse(url)

        try:
            url_open = urlopen(url)
        except IOError:
            print 'Неправильная ссылка'
            continue

        try_again = 'y'

        while try_again == 'y':
            url_open = urlopen(url)
            content = url_open.read()
            url_open.close()

            if not content:
                try_again = raw_input('ERROR. Попробовать еще раз? (y or n)')
            else:
                break

        if 'imageshack' in url_parsed.netloc:
            matches = re.search('<link rel="image_src" href="(.+?)"',
                                content)
            url = matches.group(1)
        elif 'imagevenue' in url_parsed.netloc:
            matches = re.search('SRC="(.+?)"', content)
            url = 'http://{0}/{1}'.format(url_parsed.netloc, matches.group(1))

        print 'Загрузка картинки...'
        url_parsed = urlparse(url)
        file_name = url_parsed.path.split('/')
        (down_name, _headers) = urlretrieve(url,
            os.path.join(options.dir, file_name[-1]))

        if os.path.isfile(down_name):
            print 'OK'
        else:
            print 'ERROR'

    return 0


if __name__ == '__main__':
    main()

   if options.dir and options.dir[-1] != '/':
        options.dir = os.path.join(options.dir, '/')