Ctrl →

mrgloom · Авг. 17, 2012 10:47:57

вообщем задача такая.
есть папка в ней много папок(предположительно пара мильёнов), а в папках есть файлы от 0 до 300 примерно.
проходимся по всем папкам и считаем MD5 файлов, получаем список структур (название папки,список MD5 стрингов).

потом допустим на вход программы подаётся файл у него считается MD5 и надо найти к какой папке относится файл.

как это лучше всего реализовать?

сделать просто базу данных типа ключ название папки - содержимое список стрингов MD5?

п.с. MD5 не принципиально, просто для примера.

___________________________________________________________________________________________
http://www.lfd.uci.edu/~gohlke/pythonlibs/
https://bitbucket.org/pypy/compatibility/wiki/Home

Отредактировано mrgloom (Авг. 17, 2012 10:48:53)

mrgloom · Авг. 17, 2012 10:50:02

наверно лучше перенести в базы данных.

___________________________________________________________________________________________
http://www.lfd.uci.edu/~gohlke/pythonlibs/
https://bitbucket.org/pypy/compatibility/wiki/Home

fata1ex · Авг. 17, 2012 12:44:14

Если смотреть только на эту задачу, то подойдет любое key-value хранилище. Ключом логично сделать md5 файла, а содержимым будет список имен папок, в которых он находится.

odnochlen · Авг. 17, 2012 13:57:15

mrgloom
наверно лучше перенести в базы данных.

Модерам пофиг же.

mrgloom
MD5

MD5 использовать не рекомендуется, вместо него лучше брать SHA2 и, если надо, обрезать.

mrgloom · Авг. 17, 2012 14:47:03

odnochlen
MD5 использовать не рекомендуется, вместо него лучше брать SHA2 и, если надо, обрезать.

почему?

___________________________________________________________________________________________
http://www.lfd.uci.edu/~gohlke/pythonlibs/
https://bitbucket.org/pypy/compatibility/wiki/Home

Lexander · Авг. 17, 2012 15:58:19

odnochlen
MD5 использовать не рекомендуется, вместо него лучше брать SHA2 и, если надо, обрезать.

Для хеширования? С чего й то?
Последний раза в 2 медленнее MD5.
Вот еще бенч: http://tanjent.livejournal.com/756623.html
Я бы вообще в сторону CRC посмотрел, как самый распространенный, если имеющееся количество элементов не дает коллизий.

А вообще система сама хранит уникальный идентификатор каждого файла, поэтому его считать не нужно.
Например, под Вин GetFileInformationByHandle выдает нужную информацию.
Обратите внимание на get_unique_id.

Под Линукс есть свои функции.

odnochlen · Авг. 17, 2012 21:06:18

Lexander
С чего й то?

http://ru.wikipedia.org/wiki/MD5#.D0.9A.D0.BE.D0.BB.D0.BB.D0.B8.D0.B7.D0.B8.D0.B8_MD5

slav0nic · Авг. 17, 2012 22:11:53

odnochlen
ну не всё на столько плохо) в дебиане например пока MD5 (но хотят заменить), хотя из коллизий в молодости находил несколько пар одинаковых файлов (по чексуме) на двд

tg : https://t.me/slav0nic

Lexander · Авг. 18, 2012 11:52:58

odnochlen
Да я в курсе. У SHA-2 тоже коллизии, вследствие чего разрабатывают SHA-3.
О другом речь, зачем тяжелый SHA2 использовать для хеширования?

mrgloom · Авг. 18, 2012 14:53:58

у меня файлы ихображения и я считаю так

hashlib.md5(img.tostring()).hexdigest()

это как то влияет?

___________________________________________________________________________________________
http://www.lfd.uci.edu/~gohlke/pythonlibs/
https://bitbucket.org/pypy/compatibility/wiki/Home

Python-сообщество

Уведомления

#1 Авг. 17, 2012 10:47:57

поиск в базе (не загружая всё в память)

#2 Авг. 17, 2012 10:50:02

поиск в базе (не загружая всё в память)

#3 Авг. 17, 2012 12:44:14

поиск в базе (не загружая всё в память)

#4 Авг. 17, 2012 13:57:15

поиск в базе (не загружая всё в память)

#5 Авг. 17, 2012 14:47:03

поиск в базе (не загружая всё в память)

#6 Авг. 17, 2012 15:58:19

поиск в базе (не загружая всё в память)

#7 Авг. 17, 2012 21:06:18

поиск в базе (не загружая всё в память)

#8 Авг. 17, 2012 22:11:53

поиск в базе (не загружая всё в память)

#9 Авг. 18, 2012 11:52:58

поиск в базе (не загружая всё в память)

#10 Авг. 18, 2012 14:53:58

поиск в базе (не загружая всё в память)

Board footer