Нет не падает. Наверное, что-то не скопировал не то) Вот результаты твоего:

expee@localhost:~/dev/python$ time python hehe.py

real 0m4.655s
user 0m0.540s
sys 0m0.176s
expee@localhost:~/dev/python$ time python hehe.py

real 0m2.713s
user 0m0.544s
sys 0m0.156s
expee@localhost:~/dev/python$ time python hehe.py

real 0m1.437s
user 0m0.548s
sys 0m0.192s

Вот моего:

expee@localhost:~/dev/python$ time python hehe.py

real 0m1.531s
user 0m0.528s
sys 0m0.276s
expee@localhost:~/dev/python$ time python hehe.py

real 0m1.969s
user 0m0.512s
sys 0m0.180s
expee@localhost:~/dev/python$ time python hehe.py

real 0m0.709s
user 0m0.488s
sys 0m0.200s

Оба на идентичных файлах размером 26мб.

Я исходил именно из задач, которые написаны в названии темы.

Кстати, вот тут есть сравнения скорости функций, с помощью которых можно оставить только уникальные элементы: http://www.peterbe.com/plog/uniqifiers-benchmark

Интересная разница во времени выполнения твоего. С моим более-менее все понятно. Машинка у меня покруче, вот он и побыстрее бегает.
Но вот почему твой у меня так долго выполняется непонятно. И не только у меня, кстати. superduck тоже говорил, что долго.
Какой у тебя Питон? 2.6? 3? Может там так сильно соптимизировали replace?

Питон 2.6.4. Почему у нас такая разница даже не знаю :) Ну ладно, ТС доволен и все хорошо.

А помоему разобраться в чем тут дело гораздо важнее, чем само решение.
Я, например, считал, что replace на таких длинных сроках будет работать намного медленее, чем операции со списками.
Поэтому для меня то, что твой скрипт у меня 10 минут работал было вполне понятным.

Попробую поставить 2.6. К сожалению в Debian он только в experimental.

Все-таки тестовые файлы у нас разные. Если хочешь, то можешь кинуть свои на 4expeegmail.com Тогда будут точные. Как я уже говорил у меня не все строки в файле уникальны.

Питон тут не виноват. Я получил похожие результаты с 2.6.4.
Файл послал.

PS: У меня по-моему тоже строки не совсем уникальны. Я его получил копируя один и тот же файл несколько раз.

питон 2.6.2
медленннно

expee
а на счёт не все уникальные, это примерное сотношение уникальности на весь файл?

Ну тогда все понятно :) Просто у меня было всего ~30 уникальных строкю.

ps. с почти наступившем всех)

аа.. ну тогда всё ясно) ибо у меня все 450к уникальных строк)

.зы так же всех с наступающим)