Найти - Пользователи
Полная версия: Генератор слов из файла большого размера
Начало » Python для новичков » Генератор слов из файла большого размера
1 2 3 4 5
djjec
AD0DE412
ну это линукс же
https://linuxconfig.org/Dd
наверное и монтировать не обязательно

те читаем опеделеный диапазон ну итд итп
Не совсем понимаю, как это может мне помочь?
xam1816
djjec
Прикрепил
так интересно на ошибку посмотреть, так ты додумался ее закрыть
djjec
xam1816
так интересно на ошибку посмотреть, так ты додумался ее закрыть
Я ничего не закрывал, код который Вы мне дали! Командная строка пока что в Windows
xam1816
djjec
Я ничего не закрывал, код который Вы мне дали! Командная строка пока что в Windows
понял,показалось
djjec
xam1816
понял,показалось
Нашёл косячек в конце
print get_num_line_from_file()
Проверил на мелком файле, выдал количество строк
Сейчас на большом проверю
AD0DE412
ну ваш файл это имеет размер
и 1 байт это символ исходим из этого
читайте побайтово эээ посмвольно (я не знаю что у вас является разделителем слова но это точно символ как мне кажется что то вроде слово\nеще\nитд\n…)
ну переганяйте это в базу данных и переписывайте вваш скрипт под измененый тип хранения данных
или дальше мучайте этот файл таким изысканым способом
кстате в линуксе вроде можно example в рам создавать файловию систему так что если это возможно то можно разместить там этот ваш файл
ps чесно скажу не довадилось но случись со мной ваш казус … то наверное пришлосбы кудато в эту сторону рыть
djjec
AD0DE412
кстате в линуксе вроде можно в рам создавать файловию систему так что если это возможно то можно разместить там этот ваш файл
В Рам не влезает файл, пробовал меньше 20 гиг тоже не лезет, видимо при распаковке увеличивается более чем в 6 раз, раз ему 128 гиг памяти не хватает.
Я слышал что можно сделать, чтобы он не слова искал а строки и эти строки рандомно считал и выводил уже результат, не закидывая весь файл в память
AD0DE412
эээ он у вас где находится на диске так
создаете в в рам блочное устройство с файловой системой вот как прям на жостком диске (вещь не обязательная просто все будет быстрее)
перекладываете этот ваш файл туда
дальше потрашите его при помощи dd в базу данных
переписываете ваш скрипт для работы с ней
получаете профит
xam1816
djjec
Я слышал что можно сделать, чтобы он не слова искал а строки и эти строки рандомно считал и выводил уже результат, не закидывая весь файл в память
так я тебе о чем и писал ссылка
AD0DE412
xam1816 по идее то что вы предлагаете должно сработать но мне кжется что здесь стоит сменить формат даных просто по тому что …
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB