Python-сообщество

gzip определяет для объекта метод seek. Я сотворил файл на 15GB и стал сикать в разные места.
Время выполнения Линейно растет с увеличением позиции seek. После 4 GB резкий провал производительности.

Впечатление что просто декомпрессор последовательно идет по потоку данных.

Вопрос - может кто знает модули архивации с быстрым поиском позиции при извлечении данных?
Или может у gzip есть секретные опции.

Конечно можно и ZipFile сотворить, но:
1 Я не знаю как падает время поиска с увеличением количества файлов
2 файлы пишутся целиком (одним куском), что не очень удобно
3 при извлечении тоже надо целиком дергать seek отсутствует.

Отредактировано (Май 20, 2011 09:29:55)

У ZipFile по потоку на файл. Таблица — в конце.
Оба архиватора — поточные. Индексов не содержат, «прыгнуть» в середину не позволяют.