Уведомления

Группа в Telegram: @pythonsu
  • Начало
  • » Network
  • » Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1 [RSS Feed]

#1 Сен. 15, 2015 14:29:56

i.slepov
Зарегистрирован: 2015-05-28
Сообщения: 53
Репутация: +  5  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

А у вас файл не меняется случаем во время загрузки? Никто в него не пишет?

Офлайн

#2 Сен. 15, 2015 15:06:53

shuhart
Зарегистрирован: 2015-09-08
Сообщения: 16
Репутация: +  0  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

i.slepov
А у вас файл не меняется случаем во время загрузки? Никто в него не пишет?
Нет, не меняется.
Как-то на процесс влияет прокси. Без неё - все копируется корректно. Но что именно влияет, и как это отследить, я пока не знаю.

Офлайн

#3 Сен. 15, 2015 21:49:11

doza_and
От:
Зарегистрирован: 2010-08-15
Сообщения: 4138
Репутация: +  252  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

Судя по картинке отвалился хвост. Только непонятно сколько байт.



Офлайн

#4 Сен. 16, 2015 06:30:38

PooH
От:
Зарегистрирован: 2006-12-05
Сообщения: 1948
Репутация: +  72  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

Вот тут похоже про ваш случай. Весь тред там читать не стал.

Вообще я у себя ftp пускаю через ftp-proxy, работает и активный и пассивный режим. Какой смысл его через squid гонять?!



Вот здесь один из первых отарков съел лаборанта. Это был такой умный отарк, что понимал даже теорию относительности. Он разговаривал с лаборантом, а потом бросился на него и загрыз…

Офлайн

#5 Сен. 16, 2015 08:01:20

shuhart
Зарегистрирован: 2015-09-08
Сообщения: 16
Репутация: +  0  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

doza_and
Судя по картинке отвалился хвост. Только непонятно сколько байт.
Да, только “хвост”. Количество отвалившихся байт всегда разное, поэтому не стал заострять на этом внимание.

Офлайн

#6 Сен. 16, 2015 08:07:16

shuhart
Зарегистрирован: 2015-09-08
Сообщения: 16
Репутация: +  0  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

PooH
Вот тут похоже про ваш случай. Весь тред там читать не стал.
Да, похоже.
PooH
Вообще я у себя ftp пускаю через ftp-proxy, работает и активный и пассивный режим. Какой смысл его через squid гонять?!
Это было бы, действительно, выходом, но приходится работать с тем, что есть. Руководство, админы, программисты, к сожалению, зачастую живут в разных плоскостях реальности

Офлайн

#7 Сен. 16, 2015 10:28:59

py.user.next
От:
Зарегистрирован: 2010-04-29
Сообщения: 9731
Репутация: +  843  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

doza_and
А что это даст? Если воспользоваться утилитами сравнения то больше информации получится.
Это большее количество информации ничего не даст, файл бинарный. Надо просто установить, передаётся ли 800-метровый файл или тоже портится.



Отредактировано py.user.next (Сен. 16, 2015 10:29:09)

Офлайн

#8 Сен. 16, 2015 11:29:04

shuhart
Зарегистрирован: 2015-09-08
Сообщения: 16
Репутация: +  0  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

py.user.next
Это большее количество информации ничего не даст, файл бинарный. Надо просто установить, передаётся ли 800-метровый файл или тоже портится.
Не знаю, почему именно 800Мб, но проверил - файл тоже портится.
Прикрепил скрин сравнения.

Прикреплённый файлы:
attachment diff01.PNG (28,6 KБ)

Офлайн

#9 Сен. 16, 2015 11:38:32

py.user.next
От:
Зарегистрирован: 2010-04-29
Сообщения: 9731
Репутация: +  843  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

shuhart
Не знаю, почему именно 800Мб, но проверил - файл тоже портится.
Вот, надо узнать минимальный, который передаётся нормально.
Для контроля целостности используй md5, потому что CRC подвержен коллизиям, так как число короткое (может два разных файла показать одинаковыми).
Снижай по 100 метров, пока стабильно не будет передаваться. Может так получиться, что и малые файлы портятся.



Офлайн

#10 Сен. 16, 2015 11:49:13

shuhart
Зарегистрирован: 2015-09-08
Сообщения: 16
Репутация: +  0  -
Профиль   Отправить e-mail  

Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

py.user.next
Снижай по 100 метров, пока стабильно не будет передаваться. Может так получиться, что и малые файлы портятся.
Сразу могу сказать, что малые файлы портятся тоже, т.к. я для ускорения тестирования пробовал на файле размером 78,5 Мб.

Офлайн

  • Начало
  • » Network
  • » Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1[RSS Feed]

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version