Найти - Пользователи
Полная версия: Многопоточная закачка через различные Socks/HTTP прокси
Начало » Network » Многопоточная закачка через различные Socks/HTTP прокси
1 2 3 4 5 6 7
Dwarf
Господа, нужно реализовать одновременную закачку файлов из нескольких потоков, причём каждый поток пустить через отдельный прокси.
Сейчас у меня уже есть просто многопоточная закачка, без прокси. Я использую urllib2 и самостоятельно отслеживаю количество загруженных байт для определения скорости загрузки в реальном времени.
Но urllib2, похоже, поддерживает только HTTP прокси, а мне нужны ещё и SOCKS.

Необходимо прикрутить их поддержку, но при этом сохранить функциональность по отслеживанию скорости, решения “указал путь к файлу и он там как-то автоматически скачался” не подойдут.

Подскажите, как этого добиться?

Нагуглил некий SocksiPy, но в примере похоже задаётся один глобальный прокси на все соединения, что мне не подходит.
lorien
Библиотека pycurl позволяет работать с SOCKS-проксями. Также там были какие-то средства для отслеживания скорости, насколько я помню.
Dwarf
lorien
не хотелось бы её использовать. Во-первых она давно не обновляется, во-вторых под Windows её надо собирать, что неудобно, ибо желательно, чтобы всё ставилось через pip.
plusplus
Dwarf
lorienне хотелось бы её использовать. Во-первых она давно не обновляется, во-вторых под Windows её надо собирать, что неудобно, ибо желательно, чтобы всё ставилось через pip.

А выбора то больше и нет. Можно использовать sockispy, которая тоже давно не обновляется плюс зависает при дохлом соксе.

А pycurl вполне работоспособен, хоть и старенький, можно самому собрать инсталлятор, можно использовать уже готовый http://python4seo.net/?p=278.
Dwarf
Ещё вот такое нашёл: http://urlgrabber.baseurl.org/
Не пробовали?
Dwarf
Ещё вот такое: human_curl. Как он в сравнении с pycurl?
mironich
Юзаю pycurl для работы с сетью, очень часто, нареканий нету.
plusplus
Dwarf
Ещё вот такое: human_curl. Как он в сравнении с pycurl?
Это обертка над pycurl.
plusplus
Dwarf
Ещё вот такое нашёл: http://urlgrabber.baseurl.org/Не пробовали?
Это тоже обертка над pycurl.
krishnarama
Dwarf
Ещё вот такое: human_curl. Как он в сравнении с pycurl?
Херовая, давно не обновлявшаяся обертка, которая пытается косить под requests, но не может даже post.

lorien, а почему ты не предлагаешь grab?
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB