Python-сообщество

369_sfera_963 · Сен. 13, 2012 23:49:31

Привет!

При попытке чтения файла вылетает ошибка:
'utf-8' codec can't decode byte 0xef in position 26…

Решение этой пробемы я вижу в следующем.
Есть ряд файлов, которые нужно привести к кодировке utf-8, чтобы выполнить дальнейшую работу.

Пробовал несколько вариантов (нашел их здесь, на форуме). Вот один из них:

f = open("utf8.txt", "wb")
for line in open("cp1251.txt", "rb"):
    f.write(line.decode('utf8').encode('cp1251'))

Если есть другое решение данной проблемы, буду рад услышать ваши советы.
Если же нет, то помогите довести до ума мою идею…

Использую Python v3.2

py.user.next · Сен. 14, 2012 03:28:00

369_sfera_963
Использую Python v3.2

в open() есть параметр encoding

чтобы перекодировать, нужно исходный файл открыть на чтение “r” в его кодировке, а файл назначения открыть на запись “w” в нужной кодировке

369_sfera_963 · Сен. 14, 2012 19:15:35

py.user.next
369_sfera_963
Использую Python v3.2
в open() есть параметр encoding

чтобы перекодировать, нужно исходный файл открыть на чтение “r” в его кодировке, а файл назначения открыть на запись “w” в нужной кодировке

Вы имеете ввиду модуль codecs?

А как можно определить исходую кодировку файла?

doza_and · Сен. 14, 2012 21:34:34

369_sfera_963
Вы имеете ввиду модуль codecs?

Это в ветке питона 2.x используется codecs

369_sfera_963
А как можно определить исходую кодировку файла?

По симпатичности результата перекодирования. В общем случае исходную кодировку установить невозможно.

sp3 · Сен. 14, 2012 22:49:38

doza_and
По симпатичности результата перекодирования. В общем случае исходную кодировку установить невозможно.

http://pypi.python.org/pypi/chardet не панацея, но все же…

py.user.next · Сен. 15, 2012 06:07:44

>>> with open('file.txt', 'r', encoding='utf-8') as fin, \
...      open('output.txt', 'w', encoding='cp1251') as fout:
...     fout.write(fin.read())
... 
6
>>>

[guest@localhost tmp]$ cat file.txt
абвг 
[guest@localhost tmp]$ .hex file.txt
00000000  d0 b0 d0 b1 d0 b2 d0 b3  20 0a                    |........ .|
0000000a
[guest@localhost tmp]$ .hex output.txt
00000000  e0 e1 e2 e3 20 0a                                 |.... .|
00000006
[guest@localhost tmp]$

Python-сообщество

Уведомления

#1 Сен. 13, 2012 23:49:31

Нужно перекодировать файл из одной кодировки в другую.

#2 Сен. 14, 2012 03:28:00

Нужно перекодировать файл из одной кодировки в другую.

#3 Сен. 14, 2012 19:15:35

Нужно перекодировать файл из одной кодировки в другую.

#4 Сен. 14, 2012 21:34:34

Нужно перекодировать файл из одной кодировки в другую.

#5 Сен. 14, 2012 22:49:38

Нужно перекодировать файл из одной кодировки в другую.

#6 Сен. 15, 2012 06:07:44

Нужно перекодировать файл из одной кодировки в другую.

Board footer