coffe4wolfПотому что у codecs нет режима текст, он все в бинари читает. И между прочим это правильно.
Не пойму почему он ругается на режим чтения
Полная версия: CSV-файл - определение и изменение кодировки
coffe4wolf
Тащемта вот мучаемый файл
>>> 'юАЮЬХДГЕ'.encode('koi8-r').decode('cp1251') 'Абашидзе' >>>
ZerGУ него сам файл раскодирован в koi8-r.
Ну так давайте разберемся? Какая у вас ос? Какая кодировка?
ZerGНикакого .replace() не должно быть, разделитель надо передать при открытии файла.data = str(i[0].decode("cp1251").encode("utf8")).replace(';', '')
python.org. csv.reader()
Ты не можешь просто взять и заменить разделитель через .replace(), потому что разделитель в csv может оказаться в поле в проэкранированном виде как часть текста.
У меня не было времени углубляться и вопрос у ТС был не по разделителям.
Кроме того мне он скинул файл в cp1252 с кодировкой текста в нем в cp1251
Ну и разделитель там у него не ‘;’ а ‘;;;’
Там исходный файл еще кривой как брови у корела фарела.
Кроме того мне он скинул файл в cp1252 с кодировкой текста в нем в cp1251
Ну и разделитель там у него не ‘;’ а ‘;;;’
Там исходный файл еще кривой как брови у корела фарела.
ZerG
Ну за каждый “если” спасибо, я таки потестю. С кодировками работать практически не приходилось, потому я совершенно не сведущ в вопросе и порой даже не знаю за что цепляться
ZerG
py.user.next
Насчёт кодировки вообще очень интересный вопрос. Пайчам в терминале при выводе пишет, что кодировка iso-8859-1. Если открываю нотпадом++ - он пишет windows-1251. И я чёт прям не знаю чему верить
Владимиров М.Ю.;;;
;17.04.2016 7:47:52;17.04.2016 20:08:53;
Такие пары нужно оставлять, как сделать это через модуль csv я так и не додумался, посоветовали делать через регулярки. Не придумал ничего умнее, чем слепить весь файл в строку и через re.sub вычесать лишнее.
К слову о разделителе - таблицу мне формирует софтина, там разделитель можно задать произвольный,по умолчанию стоит ‘;’
Ну за каждый “если” спасибо, я таки потестю. С кодировками работать практически не приходилось, потому я совершенно не сведущ в вопросе и порой даже не знаю за что цепляться
ZerGНе, разделитель ‘;’, там где ‘;;;’ это разделители меж трёх пустых полей.
Ну и разделитель там у него не ‘;’ а ‘;;;’
ZerG
py.user.next
Насчёт кодировки вообще очень интересный вопрос. Пайчам в терминале при выводе пишет, что кодировка iso-8859-1. Если открываю нотпадом++ - он пишет windows-1251. И я чёт прям не знаю чему верить
ZerGВообще конечная цель у меня удалить из файла строки с фамилиями, у которых нет данных времени. Проблема в том, что есть строки вида
У меня не было времени углубляться и вопрос у ТС был не по разделителям.
Владимиров М.Ю.;;;
;17.04.2016 7:47:52;17.04.2016 20:08:53;
Такие пары нужно оставлять, как сделать это через модуль csv я так и не додумался, посоветовали делать через регулярки. Не придумал ничего умнее, чем слепить весь файл в строку и через re.sub вычесать лишнее.
К слову о разделителе - таблицу мне формирует софтина, там разделитель можно задать произвольный,по умолчанию стоит ‘;’
ZerGЭто обычный csv (dsv), у него разделитель не может быть несколько символов (это и не требуется).
Ну и разделитель там у него не ‘;’ а ‘;;;’
Его нельзя обрабатывать .replace()'ом и регекспами, потому что разделитель может быть внутри поля - то есть иметь значение.
abc;def;ghi
abc;"d; e; f";ghi
coffe4wolfВ csv.reader() надо передать точку с запятой как разделитель, тогда он будет по нему разделять.
Такие пары нужно оставлять, как сделать это через модуль csv я так и не додумался, посоветовали делать через регулярки.
py.user.next
Иванов И.И.;16.04.2016 11:03:53;16.04.2016 18:35:25;
;;;
Я подумал что если обрабатывать регекспами, то проще выбирать через sub пустые поля, так как в этом случае шаблон нужен будет всего один, типа
Понимаю, что метод очень топорный, но в рамках изучения языка интересно, как реализовать и этот метод для решения задачи
py.user.nextВ моём случае разделитель посреди поля не попадётся, софтина выдаёт таблицу строго фиксированного формата типа
потому что разделитель может быть внутри поля - то есть иметь значение.
Иванов И.И.;16.04.2016 11:03:53;16.04.2016 18:35:25;
;;;
Я подумал что если обрабатывать регекспами, то проще выбирать через sub пустые поля, так как в этом случае шаблон нужен будет всего один, типа
r'[A-zА-я\s\.]+[;]{3}[\n]{1}[;]{3}'py.user.nextПо нему он будет разбивать поля и записывать в список?
В csv.reader() надо передать точку с запятой как разделитель, тогда он будет по нему разделять.
Не будет. Он будет возвращять ‘;какойто текст;’
кароче автору надо для начала с импортом файла разобраться.
кароче автору надо для начала с импортом файла разобраться.
ZerG
Я до этого уже пытался через модуль csv работать с файлом, но не могу разобраться в каком виде файл загружается в reader и как работать с полями. Т.к. по идее, чтобы выбрать все необходимые поля из таблицы, нужно будет сравнивать сразу по два поля - текущее и следующее.
Но вообще да, на данный момент самая большая проблема с импротом
Я до этого уже пытался через модуль csv работать с файлом, но не могу разобраться в каком виде файл загружается в reader и как работать с полями. Т.к. по идее, чтобы выбрать все необходимые поля из таблицы, нужно будет сравнивать сразу по два поля - текущее и следующее.
Но вообще да, на данный момент самая большая проблема с импротом
А откудова идет импорт? может вам проще на питоне сразу коненкт в базу данных написать и делать выборку?
coffe4wolf
По нему он будет разбивать поля и записывать в список?
>>> import csv >>> import StringIO >>> >>> stream = StringIO.StringIO('a;b;c;d\r\nd;e;f;g\r\n;;;\r\n') >>> >>> reader = csv.reader(stream, delimiter=';') >>> list(reader) [['a', 'b', 'c', 'd'], ['d', 'e', 'f', 'g'], ['', '', '', '']] >>>
coffe4wolfНадо открыть файл через codecs.open(), указав правильную кодировку. И сам файл тоже должен быть в правильной кодировке. Если у него неправильная кодировка, то нужно сначала его перекодировать в правильную.
Я до этого уже пытался через модуль csv работать с файлом, но не могу разобраться в каком виде файл загружается в reader