← Сtrl

erl · Фев. 17, 2011 06:41:50

Извиняюсь, за то что не выложил конфидициальные данные на общедоступный сайт, извините меня дурака…
Попросите у банков, ЖЭУ, ТСЖ, паспортных столов и пр. пусть ваши адреса и телефоны выложат на общедоступные сайты с занесением в facebook.

asv13 · Фев. 17, 2011 09:37:51

erl
Извиняюсь, за то что не выложил конфидициальные данные на общедоступный сайт,

PooH
не можете показать файл - утрите заголовок, раз он не важен, перетрите данные в записях рендомом

erl,
Ну уж если затереть все символы кроме (ff, 32-34) случайным мусором такая проблема… Нам сами данные не важны, если еще не поняли.

Ed · Фев. 17, 2011 11:00:58

erl
Извиняюсь, за то что не выложил конфидициальные данные на общедоступный сайт,

Обижаться будем? По делу так ничего и не скажете? Жаль.

erl · Фев. 17, 2011 12:26:35

Ed
Помедитировал над кодом erl. ….
….
Дальше копать нет смысла. Может у меня код не то делает, что нужно. erl, гляньте, плз.

Ура, спасибо, это уже лучше 500 метров, обработанные вашим скриптом 0:02:24.377433
вот скрипт: http://pastebin.com/S5SmPXJQ

какие еще модификации Вы предложите, УВАЖАЕМЫЕ друзья?
СПАСИБО.

Не буду обижаться, не обидчив, что то это меня дернуло вдруг :-)

Отредактировано (Фев. 17, 2011 12:27:37)

erl · Фев. 17, 2011 12:34:04

Извиняюсь, за задержки, просто кодирую и проверяю в моменты не очень большой занятости, поэтому есть некоторая задержка на проверки ваших предложений.

Ed а скажите как проверить на каком этапе более всего тратиться времени.

Ed · Фев. 17, 2011 15:03:05

это уже лучше 500 метров, обработанные вашим скриптом 0:02:24.377433

И что, оно даже работает так, как вам нужно? Удивительно :)

как проверить на каком этапе более всего тратиться времени.

Для профилирования просто запустите скрипт так: python -m cProfile -s cum <script> и смотрите на табличку, которую он выведет в конце. Более подробно читайте здесь: http://docs.python.org/library/profile.html
У меня почти половину времени занимает decode, я об этом писал. Потом еще проверка вызов len в проверке if len(block) == pos+1 тоже жрет. Нужно подумать как менее затратно можно диагностировать конец обработки.

какие еще модификации Вы предложите, УВАЖАЕМЫЕ друзья?

Показывайте результаты профилирования - предложим, за нами не заржавеет. Если будете менять скрипт - показывайте и его.

Ed · Фев. 17, 2011 15:23:39

2 erl: Кстати, по поводу замены ‘\xff’ на chr(255). Вы поменяли константу на вызов. Этот вызов у вас происходит в цикле. Судя по размеру файла и размеру блока итераций много. Понятно куда я веду?

PooH · Фев. 17, 2011 16:30:20

К стыду своему, даже не вспомнил про профайлер :( Надо работать над собой

Вот здесь один из первых отарков съел лаборанта. Это был такой умный отарк, что понимал даже теорию относительности. Он разговаривал с лаборантом, а потом бросился на него и загрыз…

Андрей Светлов · Фев. 17, 2011 16:37:12

http://www.vrplumber.com/programming/runsnakerun/ - чтобы веселее было смотреть на выходной файл.

erl · Фев. 17, 2011 21:28:35

Ed
И что, оно даже работает так, как вам нужно? Удивительно :)

С некоторыми изменениями, совсем немного.

Ed
Если будете менять скрипт - показывайте и его

Я же показал уже изменения.
Вот скрипт … http://pastebin.com/dgT58pwd
С профайлером пройдусь чуть позже.

Отредактировано (Фев. 17, 2011 23:35:08)

Python-сообщество

Уведомления

#1 Фев. 17, 2011 06:41:50

Ускорение обработки двоичного файла

#2 Фев. 17, 2011 09:37:51

Ускорение обработки двоичного файла

#3 Фев. 17, 2011 11:00:58

Ускорение обработки двоичного файла

#4 Фев. 17, 2011 12:26:35

Ускорение обработки двоичного файла

#5 Фев. 17, 2011 12:34:04

Ускорение обработки двоичного файла

#6 Фев. 17, 2011 15:03:05

Ускорение обработки двоичного файла

#7 Фев. 17, 2011 15:23:39

Ускорение обработки двоичного файла

#8 Фев. 17, 2011 16:30:20

Ускорение обработки двоичного файла

#9 Фев. 17, 2011 16:37:12

Ускорение обработки двоичного файла

#10 Фев. 17, 2011 21:28:35

Ускорение обработки двоичного файла

Board footer