Latest posts on grab.spider и большие видео-файлы. topichttp://python.su/forum/topic/16082/2012-11-11T16:41:25+02:00Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-11T16:41:25+02:00odnochlen96732Ты тупой, б…дь, или придуриваешься? 5 лет писал библиотеку и не знаешь, где сервер передает дату файла?
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-11T16:25:49+02:00lorien96731#
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T23:51:06+02:00odnochlen96683<strong>lorien</strong>, твое разрешение мне вообще ни на что не нужно. Это ты понять в состоянии?
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T23:35:54+02:00lorien96680#
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T23:28:42+02:00odnochlen96678<blockquote><em>lorien</em><br/>Можно и такую опцию сделать, пиши патч, я ж не против.</blockquote>Я спрашивал вовсе не разрешения.<br/><br/>Мне тяжело поверить в то, что человек, пишущий http клиент, не знает базовый функционал http.<br/><br/>
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T23:25:43+02:00lorien96676#
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T19:51:40+02:00odnochlen96668<blockquote><em>lorien</em><br/>Качает, прерывает, когда body_maxsize набирается. В результате в response.body содержится часть документа реального.</blockquote>Лучше было бы реагировать на размер файла в заголовках, если указан.<br/><br/><blockquote><em>lorien</em><br/>Что такое дата файла?</blockquote><strike>Прикидываешься?</strike> Дата создания файла в ответе сервера.
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T19:12:51+02:00lorien96663> Он сначала качает и прерывает по достижению размера или смотрит размер файла в заголовках?<br/><br/>Качает, прерывает, когда body_maxsize набирается. В результате в response.body содержится часть документа реального.<br/><br/>> если заголовки чем-то не устроили. В курле это, если это то, о чем я думаю, headerfunction.<br/><br/>Все пожелания лучше оформлять в виде тикетов в багтрекере.<br/><br/>> Дату файла же. Мы о скачивании файла говорим.<br/><br/>Что такое дата файла?
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T18:50:58+02:00odnochlen96654Он сначала качает и прерывает по достижению размера или смотрит размер файла в заголовках?<br/><br/><blockquote><em>lorien</em><br/>> Лучше бы была возможность получать евент полученя заголовков и разрывать соединение.</blockquote>… если заголовки чем-то не устроили. В курле это, если это то, о чем я думаю, headerfunction.<br/><br/><blockquote><em>lorien</em><br/>Что такое дата с сервера? Сохранять куда?</blockquote>Дату файла же. Мы о скачивании файла говорим.
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T17:36:12+02:00lorien96643> А оно прерывается по скачиванию или по заголовку?<br/><br/>Не понял вопрос полностью.<br/><br/>> Лучше бы была возможность получать евент полученя заголовков и разрывать соединение.<br/><br/>Я выше писал про эту опцию: nobody=True<br/><br/>> Есть возможность сохранять дату с сервера?<br/><br/>Что такое дата с сервера? Сохранять куда?
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-10T16:06:47+02:00odnochlen96616А оно прерывается по скачиванию или по заголовку?<br/><br/>Лучше бы была возможность получать евент полученя заголовков и разрывать соединение.<br/><br/>Есть возможность сохранять дату с сервера?
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-09T17:54:53+02:00lorien96511> А как-то сделать, чтобы слишком большие файлы не грузились в память или не качались, можно?<br/><br/>Да, есть опция body_maxsize - по достижении заданного количества полученных байт соединение прерывается.<br/><br/>> Я так понимаю, пока можно предварительно посылать head-запрос и в зависимости от этого выбирать уже качать или нет.<br/>Да, можно head. А можно любой тип запроса с опцией nobody=True.
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-09T11:55:02+02:00odnochlen96408Ну хед какбы может изменить состояние, да и файл может отдаваться только черер post. Лучше были бы, скажем, настройки размера или коллбек после получения заголовков.
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-09T09:42:22+02:00plusplus96393<blockquote><em>odnochlen</em><br/>А как-то сделать, чтобы слишком большие файлы не грузились в память или не качались, можно?</blockquote><br/>Я так понимаю, пока можно предварительно посылать head-запрос и в зависимости от этого выбирать уже качать или нет.<br/>
Общий :: Network :: grab.spider и большие видео-файлы.
2012-11-08T22:29:33+02:00odnochlen96373А как-то сделать, чтобы слишком большие файлы не грузились в память или не качались, можно?<br/><br/>Можно задать имя файла? Юникод поддерживается?