Python-сообщество

Всем привет!
Понадобилось в большом файле удалить повторяющиеся строки.
Нагуглил такой код:

#! /usr/bin/env python
input = open('in.txt', 'r')
output = open('out.txt', 'w')
linesarray = input.readlines()
input.close()
seen = []
for i in range(len(linesarray)):
    if seen.count(linesarray[i]) == 0:
        seen.append(linesarray[i])
        output.write(linesarray[i])
 output.close()

  if seen.count(linesarray[i]) == 0:

Seganapa
ты не знаешь что делает count?

Я знаю что делает count, но как это помогает сравнить строки? По количеству символов что ли?

Seganapa
Я знаю что делает count, но как это помогает сравнить строки? По количеству символов что ли?

Ну я так и подумал. Т.е. Если так получится что в двух строках будут разные слова но одинаковое количество символов, то строки будут считаться одинаковыми. Я прав? Подтвердите мои подозрения ))

В таком случае этот алгоритм мне не подходит. Как правильно сделать?

А вы код проверили, прежде чем клеймить? На мой взгляд, он совершеннно правильный

  if seen.count(linesarray[i]) == 0: # в списке seen нет строки linesarray[i]

Отредактировано Hyyudu (Июль 18, 2014 10:22:11)

Seganapa
Как правильно сделать?

а так не лучше?

#! /usr/bin/env python
input = open('in.txt', 'r')
output = open('out.txt', 'w')
linesarray = input.readlines()
input.close()
seen = []
for line in linesarray:
    if line not in seen:
        seen.append(line)    
 output.writelines(seen)

Теперь все стало понятно! Спасибо всем огромное!!!

Честно говоря, идея сравнения строк мне не нравится. Что если попробовать хранить строки в словаре с ключом - хеш строки?