Ctrl →

Dwarf · Март 5, 2013 18:51:56

Господа, нужно реализовать одновременную закачку файлов из нескольких потоков, причём каждый поток пустить через отдельный прокси.
Сейчас у меня уже есть просто многопоточная закачка, без прокси. Я использую urllib2 и самостоятельно отслеживаю количество загруженных байт для определения скорости загрузки в реальном времени.
Но urllib2, похоже, поддерживает только HTTP прокси, а мне нужны ещё и SOCKS.

Необходимо прикрутить их поддержку, но при этом сохранить функциональность по отслеживанию скорости, решения “указал путь к файлу и он там как-то автоматически скачался” не подойдут.

Подскажите, как этого добиться?

Нагуглил некий SocksiPy, но в примере похоже задаётся один глобальный прокси на все соединения, что мне не подходит.

Отредактировано Dwarf (Март 5, 2013 18:56:19)

lorien · Март 5, 2013 19:44:46

Библиотека pycurl позволяет работать с SOCKS-проксями. Также там были какие-то средства для отслеживания скорости, насколько я помню.

Dwarf · Март 5, 2013 20:07:32

lorien
не хотелось бы её использовать. Во-первых она давно не обновляется, во-вторых под Windows её надо собирать, что неудобно, ибо желательно, чтобы всё ставилось через pip.

plusplus · Март 5, 2013 21:17:22

Dwarf
lorienне хотелось бы её использовать. Во-первых она давно не обновляется, во-вторых под Windows её надо собирать, что неудобно, ибо желательно, чтобы всё ставилось через pip.

А выбора то больше и нет. Можно использовать sockispy, которая тоже давно не обновляется плюс зависает при дохлом соксе.

А pycurl вполне работоспособен, хоть и старенький, можно самому собрать инсталлятор, можно использовать уже готовый http://python4seo.net/?p=278.

Отредактировано plusplus (Март 5, 2013 21:18:13)

Dwarf · Март 5, 2013 21:25:51

Ещё вот такое нашёл: http://urlgrabber.baseurl.org/
Не пробовали?

Dwarf · Март 5, 2013 22:06:09

Ещё вот такое: human_curl. Как он в сравнении с pycurl?

Отредактировано Dwarf (Март 5, 2013 22:18:29)

mironich · Март 6, 2013 04:12:09

Юзаю pycurl для работы с сетью, очень часто, нареканий нету.

plusplus · Март 6, 2013 07:33:29

Dwarf
Ещё вот такое: human_curl. Как он в сравнении с pycurl?

Это обертка над pycurl.

plusplus · Март 6, 2013 07:36:32

Dwarf
Ещё вот такое нашёл: http://urlgrabber.baseurl.org/Не пробовали?

Это тоже обертка над pycurl.

krishnarama · Март 16, 2013 02:45:36

Dwarf
Ещё вот такое: human_curl. Как он в сравнении с pycurl?

Херовая, давно не обновлявшаяся обертка, которая пытается косить под requests, но не может даже post.

lorien, а почему ты не предлагаешь grab?

Python-сообщество

Уведомления

#1 Март 5, 2013 18:51:56

Многопоточная закачка через различные Socks/HTTP прокси

#2 Март 5, 2013 19:44:46

Многопоточная закачка через различные Socks/HTTP прокси

#3 Март 5, 2013 20:07:32

Многопоточная закачка через различные Socks/HTTP прокси

#4 Март 5, 2013 21:17:22

Многопоточная закачка через различные Socks/HTTP прокси

#5 Март 5, 2013 21:25:51

Многопоточная закачка через различные Socks/HTTP прокси

#6 Март 5, 2013 22:06:09

Многопоточная закачка через различные Socks/HTTP прокси

#7 Март 6, 2013 04:12:09

Многопоточная закачка через различные Socks/HTTP прокси

#8 Март 6, 2013 07:33:29

Многопоточная закачка через различные Socks/HTTP прокси

#9 Март 6, 2013 07:36:32

Многопоточная закачка через различные Socks/HTTP прокси

#10 Март 16, 2013 02:45:36

Многопоточная закачка через различные Socks/HTTP прокси

Board footer