Извиняюсь, за то что не выложил конфидициальные данные на общедоступный сайт, извините меня дурака…
Попросите у банков, ЖЭУ, ТСЖ, паспортных столов и пр. пусть ваши адреса и телефоны выложат на общедоступные сайты с занесением в facebook.

erl
Извиняюсь, за то что не выложил конфидициальные данные на общедоступный сайт,

PooH
не можете показать файл - утрите заголовок, раз он не важен, перетрите данные в записях рендомом

erl,
Ну уж если затереть все символы кроме (ff, 32-34) случайным мусором такая проблема… Нам сами данные не важны, если еще не поняли.

erl
Извиняюсь, за то что не выложил конфидициальные данные на общедоступный сайт,

Обижаться будем? По делу так ничего и не скажете? Жаль.

Ed
Помедитировал над кодом erl. ….
….
Дальше копать нет смысла. Может у меня код не то делает, что нужно. erl, гляньте, плз.

Ура, спасибо, это уже лучше 500 метров, обработанные вашим скриптом 0:02:24.377433
вот скрипт: http://pastebin.com/S5SmPXJQ

какие еще модификации Вы предложите, УВАЖАЕМЫЕ друзья?
СПАСИБО.

Не буду обижаться, не обидчив, что то это меня дернуло вдруг :-)

Извиняюсь, за задержки, просто кодирую и проверяю в моменты не очень большой занятости, поэтому есть некоторая задержка на проверки ваших предложений.

Ed а скажите как проверить на каком этапе более всего тратиться времени.

это уже лучше 500 метров, обработанные вашим скриптом 0:02:24.377433

И что, оно даже работает так, как вам нужно? Удивительно :)

как проверить на каком этапе более всего тратиться времени.

Для профилирования просто запустите скрипт так: python -m cProfile -s cum <script> и смотрите на табличку, которую он выведет в конце. Более подробно читайте здесь: http://docs.python.org/library/profile.html
У меня почти половину времени занимает decode, я об этом писал. Потом еще проверка вызов len в проверке if len(block) == pos+1 тоже жрет. Нужно подумать как менее затратно можно диагностировать конец обработки.

какие еще модификации Вы предложите, УВАЖАЕМЫЕ друзья?

Показывайте результаты профилирования - предложим, за нами не заржавеет. Если будете менять скрипт - показывайте и его.

2 erl: Кстати, по поводу замены ‘\xff’ на chr(255). Вы поменяли константу на вызов. Этот вызов у вас происходит в цикле. Судя по размеру файла и размеру блока итераций много. Понятно куда я веду?

К стыду своему, даже не вспомнил про профайлер :( Надо работать над собой

http://www.vrplumber.com/programming/runsnakerun/ - чтобы веселее было смотреть на выходной файл.

Ed
И что, оно даже работает так, как вам нужно? Удивительно :)

С некоторыми изменениями, совсем немного.

Ed
Если будете менять скрипт - показывайте и его

Я же показал уже изменения.
Вот скрипт … http://pastebin.com/dgT58pwd
С профайлером пройдусь чуть позже.