DjangoBB LoFi version

Полная версия: Определить кодировку файла.

Начало » Python для новичков » Определить кодировку файла.

1 2

UsCr

Май 13, 2010 20:44:30

Эту штуку пробовали? http://forum.script-coding.info/viewtopic.php?id=2536
Есть достойные альтернативы “в комплекте”?

Задача стоит сабжевая. Возникли проблемы при перезаписывании изменённого текста из файла в юникоде. В папочке, где хозяйничает скрипт, лежат файлы в разных кодировках. Соответственно, и подход им нужен разный, так ведь?

truporez

Май 13, 2010 21:45:28

Делаем unicode( content, “utf8” ). Словили UnicodeDecodeError? Делаем unicode( content, “cp1251” ). Опять UnicodeDecodeError? Изобретаем что-нибудь еще.
Но лучше chardet.

UsCr

Май 14, 2010 09:51:22

Перед тем, как задать вопрос я морально приготовился растирать по лицу вашу слюну.
Разве unicode( content, “cp1251” ) не делает юникод из кодировки ср1251? Тогда зачем мне из юникода делать юникод? Вернее нет, не так. Почему это работат?

truporez

Май 14, 2010 10:14:50

ибо utf8 и unicode не одно и тоже.

UsCr

Май 14, 2010 10:20:07

UsCr
Разве unicode( content, “cp1251” ) не делает юникод из кодировки ср1251

truporez

Май 14, 2010 10:30:17

делает если это возможно и не указаны параметры типа ignore, replace

UsCr

Май 14, 2010 11:13:26

Ну так если файл в юникоде, то я и читаю из него юникод, да? Проблемы возникают именно при чтении юникода. Получаю такой вот файл:

Windows Registry Editor Version 5.00
&#2573;&#3328;&#3328;
[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\NEWHASP\Services\Emulator\HASP\Dump\4E3110E4]
&#2573;&#8704;&#19968;&#24832;&#27904;&#25856;&#8704;&#15616;&#8704;&#12544;&#8448;&#14852;&#7936;&#16388;&#13572;&#13316;&#16132;&#16388;&#14340;&#20228;&#16900;&#14340;&#13572;&#8196;&#14336;&#11776;&#12288;&#15104;&#8192;&#6912;&#14340;&#17924;&#13572;&#15620;&#14084;&#14340;&#20228;&#8196;&#15616;&#12292;&#8196;&#16640;&#13572;&#16388;&#12804;&#13572;&#16388;&#8196;&#16128;&#16388;&#14340;&#15108;&#15876;&#13828;&#13572;&#15620;&#14340;&#14596;&#8708;&#3328;&#3328;
"Copyright"="GROOVY"
&#2573;&#8704;&#17152;&#29184;&#25856;&#24832;&#29696;&#25856;&#25600;&#8704;&#15616;&#8704;&#12288;&#12544;&#11776;&#12288;&#12544;&#11776;&#12800;&#12288;&#12288;&#13568;&#8192;&#12288;&#12288;&#14848;&#12288;&#12288;&#8704;&#3328;&#3328;
"Type"=dword:00000001
&#2573;&#8704;&#19712;&#25856;&#27904;&#28416;&#29184;&#30976;&#8704;&#15616;&#25600;&#30464;&#28416;&#29184;&#25600;&#14848;&#12288;&#12288;&#12288;&#12288;&#12288;&#12288;&#12288;&#12544;&#3328;&#3328;
"SecTable"=hex:09,42,45,46,a1,e2,e5,e6
&#2573;&#8704;&#21248;&#19968;&#8704;&#15616;&#25600;&#30464;&#28416;&#29184;&#25600;&#14848;&#12288;&#14336;&#25856;&#25600;&#12544;&#25856;&#13056;&#12800;&#3328;&#3328;
"Data"=hex:01,00,00,00,00,00,00,30,4c,38,68,e9,a2,ad,b3,2a,8f,d6,2a,f9,01,42,\
&#2573;&#8192;&#8192;&#26112;&#25088;&#11264;&#12800;&#12800;&#11264;&#13056;&#26112;&#11264;&#25344;&#14592;&#11264;&#13312;&#13568;&#11264;&#14080;&#13568;&#11264;&#25088;&#24832;&#11264;&#14592;&#13056;&#11264;&#13568;&#13824;&#11264;&#13568;&#25088;&#11264;&#25600;&#24832;&#11264;&#12288;&#24832;&#11264;&#14080;&#14080;&#11264;&#26112;&#14336;&#11264;&#12288;&#25088;&#11264;&#12288;&#26112;&#11264;&#13568;&#12544;&#11264;&#25088;&#14080;&#11264;&#14336;&#12544;&#11264;&#12288;&#25856;&#11264;&#13312;&#12544;&#11264;&#13568;&#14592;&#11264;&#12544;&#25600;&#11264;&#25088;&#12544;&#11264;&#14080;&#13824;&#11264;&#23552;&#3328;&#3328;
  4a,d7,45,36,13,07,44,73,dd,29,02,59,d9,6f,d5,2d,42,25,23,c3,43,e7,61,e9,a1,\
&#2573;&#8192;&#8192;&#25856;&#25600;&#11264;&#14592;&#14080;&#11264;&#24832;&#13568;&#11264;&#12544;&#13568;&#11264;&#12544;&#14336;&#11264;&#26112;&#25600;&#11264;&#13568;&#13312;&#11264;&#25344;&#14592;&#11264;&#25856;&#14336;&#11264;&#14592;&#14336;&#11264;&#13824;&#13056;&#11264;&#25344;&#13056;&#11264;&#12800;&#25344;&#11264;&#13056;&#25344;&#11264;&#13824;&#24832;&#11264;&#12288;&#26112;&#11264;&#26112;&#26112;&#11264;&#25088;&#13568;&#11264;&#14080;&#25088;&#11264;&#13056;&#26112;&#11264;&#14080;&#14592;&#11264;&#25856;&#26112;&#11264;&#12544;&#13568;&#11264;&#13312;&#14592;&#11264;&#13568;&#13824;&#11264;&#23552;&#3328;&#3328;
  72,e2,c8,e5,3f,0d,61,17,9a,c1,11,e2,66,c1,b1
&#2573;&#8704;&#19968;&#25856;&#29696;&#19712;&#25856;&#27904;&#28416;&#29184;&#30976;&#8704;&#15616;&#26624;&#25856;&#30720;&#14848;&#12288;&#13056;&#11264;&#12288;&#12288;&#11264;&#14080;&#12288;&#11264;&#12288;&#12288;&#11264;&#12288;&#12800;&#11264;&#26112;&#26112;&#11264;&#12288;&#12288;&#11264;&#12288;&#12288;&#11264;&#26112;&#26112;&#11264;&#26112;&#26112;&#11264;&#26112;&#26112;&#11264;&#26112;&#26112;&#3328;&#3328;
"Option"=hex:01,01,02,4a,1f,00,00,00,00,00,00,00,00,c9
&#2573;&#8704;&#17664;&#17408;&#21248;&#29696;&#29184;&#29952;&#25344;&#29696;&#8704;&#15616;&#26624;&#25856;&#30720;&#14848;&#25856;&#12288;&#11264;&#13312;&#14592;&#11264;&#12288;&#13312;&#11264;&#26112;&#12800;&#11264;&#25088;&#12288;&#11264;&#12288;&#14592;&#11264;&#12544;&#12288;&#11264;&#26112;&#12800;&#11264;&#12288;&#13824;&#11264;&#12800;&#24832;&#11264;&#25344;&#12800;&#11264;&#14592;&#25856;&#11264;&#14336;&#13056;&#11264;&#25088;&#14336;&#11264;&#13312;&#12288;&#11264;&#13056;&#13312;&#11264;&#12288;&#26112;&#11264;&#13824;&#12288;&#11264;&#12544;&#12544;&#11264;&#25088;&#25344;&#11264;&#13824;&#14080;&#11264;&#23552;&#3328;&#3328;
  08,89,51,a4,62,76,29,69,82,e2,70,35,eb,5b,c0,ac,11,04,e1,45,38,43,b1,b1,14,\
&#2573;&#8192;&#8192;&#12288;&#12800;&#11264;&#12544;&#13824;&#11264;&#12288;&#13312;&#11264;&#25856;&#14336;&#11264;&#13568;&#13056;&#11264;&#14080;&#12288;&#11264;&#12800;&#14080;&#11264;&#13056;&#13056;&#11264;&#24832;&#25856;&#11264;&#14080;&#12544;&#11264;&#25344;&#12544;&#11264;&#12544;&#25600;&#11264;&#26112;&#13824;&#11264;&#14592;&#25088;&#11264;&#12288;&#25600;&#11264;&#14080;&#12544;&#11264;&#13056;&#14336;&#11264;&#12544;&#25856;&#11264;&#14592;&#13312;&#11264;&#13824;&#12544;&#11264;&#12800;&#12288;&#11264;&#14592;&#13568;&#11264;&#12288;&#14592;&#11264;&#25600;&#12800;&#11264;&#13824;&#12544;&#11264;&#23552;&#3328;&#3328;
  a0,97,41,45,19,86,35,00,53,91,ed,74,21,20,5c,0d,08,f9,4c,6a,02,40,10,86,f7,\
&#2573;&#8192;&#8192;&#13056;&#12288;&#11264;&#12544;&#12288;&#11264;&#12288;&#25088;&#11264;&#25856;&#12288;&#11264;&#25344;&#25600;&#11264;&#24832;&#13056;&#11264;&#13056;&#12288;&#11264;&#14336;&#12544;&#11264;&#12800;&#13312;&#11264;&#14336;&#12800;&#11264;&#24832;&#13056;&#11264;&#24832;&#13312;&#11264;&#13312;&#12800;&#11264;&#25856;&#12288;&#11264;&#12800;&#12288;&#11264;&#12544;&#12288;&#11264;&#14592;&#25856;&#11264;&#25600;&#26112;&#11264;&#25088;&#12288;&#11264;&#14080;&#12288;&#11264;&#14592;&#14336;&#11264;&#13824;&#24832;&#11264;&#25600;&#14336;&#11264;&#13312;&#12544;&#11264;&#13312;&#14336;&#11264;&#23552;&#3328;&#3328;
  cc,d4,72,b5,2c,8a,17,50,68,ef,56,89,e1,20,65,1f,9c,28,f4,47,93,d0,01,07,0a,\
&#2573;&#8192;&#8192;&#13568;&#13312;&#11264;&#12544;&#12544;&#11264;&#14592;&#25344;&#11264;&#13312;&#13824;&#11264;&#13568;&#25856;&#11264;&#24832;&#13312;&#11264;&#14592;&#12544;&#11264;&#25856;&#13568;&#11264;&#25856;&#25088;&#11264;&#25600;&#25344;&#11264;&#14336;&#12800;&#11264;&#13568;&#25088;&#11264;&#12800;&#13568;&#11264;&#13568;&#14336;&#11264;&#13568;&#14336;&#11264;&#12544;&#12288;&#11264;&#13312;&#13568;&#11264;&#14080;&#13056;&#11264;&#14336;&#25344;&#11264;&#12544;&#25088;&#11264;&#12288;&#12288;&#11264;&#13824;&#12544;&#11264;&#12544;&#24832;&#11264;&#13568;&#24832;&#11264;&#13056;&#13312;&#11264;&#23552;&#3328;&#3328;
  22,20,8c,51,c0,29,3a,86,a0,e0,32,39,3a,ce,e7,cd,8f,97,21,0b,ee,82,c2,c4,e4,\
&#2573;&#8192;&#8192;&#12800;&#12800;&#11264;&#13312;&#13568;&#11264;&#12800;&#25600;&#11264;&#12544;&#13056;&#11264;&#12800;&#13056;&#11264;&#13056;&#12544;&#11264;&#12800;&#14336;&#11264;&#25856;&#12288;&#11264;&#14336;&#14592;&#11264;&#12544;&#13824;&#11264;&#12288;&#12544;&#11264;&#24832;&#25856;&#11264;&#12288;&#13056;&#11264;&#12800;&#24832;&#11264;&#13312;&#13568;&#11264;&#13312;&#24832;&#11264;&#14336;&#12544;&#11264;&#12544;&#14336;&#11264;&#25088;&#24832;&#11264;&#12800;&#14336;&#11264;&#25344;&#14080;&#11264;&#24832;&#12544;&#11264;&#13568;&#12544;&#11264;&#14336;&#25600;&#11264;&#13312;&#14336;&#11264;&#23552;&#3328;&#3328;
  e5,3d,c6,7f,aa,79,d9,02,e4,12,c1,fd,7c,a1,2d,00,f1,6a,d0,91,06,82,90,95,cc,\
&#2573;&#8192;&#8192;&#25856;&#24832;&#11264;&#14336;&#12288;&#11264;&#12544;&#12288;&#11264;&#14592;&#12544;&#11264;&#14336;&#13568;&#11264;&#13312;&#24832;&#11264;&#12288;&#12544;&#11264;&#12288;&#12544;&#11264;&#12288;&#12544;&#11264;&#12288;&#12544;&#3328;&#3328;

&#2573;

использую для этого такой код:

import os

PATH = 'D:\\regfiles_test\\'
FILE = 'reg'

for i in [filelist for filelist in os.listdir(PATH) if filelist[-3:] == FILE]:

    print i
    source = open(PATH+i)
    receiver = open(PATH+'deleter_'+i, 'w')
    for j in source.readlines():
        if j[0] == '[':
            receiver.write('-'+j)
        else:
            receiver.write(j)
    source.close()
    receiver.close()

truporez

Май 14, 2010 11:26:56

Так в чем вопрос? Вы парсите дампы реестра на катакане?
Файл не в уникоде, а в какой-то конкретной кодировке.
Да, вместо filelist == FILE можно использовать строковый метод endswith

UsCr

Май 14, 2010 11:39:58

Катакана - следы жизнедеятельности скрипта. А съел он юникодный файл (по крайней мере ворд говорит что там юникод). Если он ест ср1251, например, то несварения не наблюдаю.

Александр Кошелев

Май 14, 2010 11:42:54

UsCr
Вам уже целый тред пытаются объяснить, что нет такой кодировки – “уникод”.

Вы должны понять в какой всё-таки кодировке файл и учитывать её при чтении. Для этого имеет смысл попробовать chardet.