Уведомления

Группа в Telegram: @pythonsu

#1 Ноя. 13, 2022 21:44:20

djjec
Зарегистрирован: 2022-11-12
Сообщения: 21
Репутация: +  0  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

AD0DE412
ну это линукс же
https://linuxconfig.org/Dd
наверное и монтировать не обязательно

те читаем опеделеный диапазон ну итд итп
Не совсем понимаю, как это может мне помочь?

Офлайн

#2 Ноя. 13, 2022 21:46:49

xam1816
Зарегистрирован: 2020-05-11
Сообщения: 1370
Репутация: +  121  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

djjec
Прикрепил
так интересно на ошибку посмотреть, так ты додумался ее закрыть

Офлайн

#3 Ноя. 13, 2022 21:50:33

djjec
Зарегистрирован: 2022-11-12
Сообщения: 21
Репутация: +  0  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

xam1816
так интересно на ошибку посмотреть, так ты додумался ее закрыть
Я ничего не закрывал, код который Вы мне дали! Командная строка пока что в Windows

Офлайн

#4 Ноя. 13, 2022 21:53:32

xam1816
Зарегистрирован: 2020-05-11
Сообщения: 1370
Репутация: +  121  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

djjec
Я ничего не закрывал, код который Вы мне дали! Командная строка пока что в Windows
понял,показалось

Офлайн

#5 Ноя. 13, 2022 21:59:21

djjec
Зарегистрирован: 2022-11-12
Сообщения: 21
Репутация: +  0  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

xam1816
понял,показалось
Нашёл косячек в конце
print get_num_line_from_file()
Проверил на мелком файле, выдал количество строк
Сейчас на большом проверю

Отредактировано djjec (Ноя. 13, 2022 22:01:35)

Офлайн

#6 Ноя. 13, 2022 22:03:22

AD0DE412
Зарегистрирован: 2019-05-12
Сообщения: 1130
Репутация: +  44  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

ну ваш файл это имеет размер
и 1 байт это символ исходим из этого
читайте побайтово эээ посмвольно (я не знаю что у вас является разделителем слова но это точно символ как мне кажется что то вроде слово\nеще\nитд\n…)
ну переганяйте это в базу данных и переписывайте вваш скрипт под измененый тип хранения данных
или дальше мучайте этот файл таким изысканым способом
кстате в линуксе вроде можно example в рам создавать файловию систему так что если это возможно то можно разместить там этот ваш файл
ps чесно скажу не довадилось но случись со мной ваш казус … то наверное пришлосбы кудато в эту сторону рыть



1. пжлст, форматируйте код, это в панели создания сообщений, выделите код и нажмите что то вроде
2. чтобы вставить изображение залейте его куда нибудь (например), нажмите и вставьте ссылку на его url

есчщо

Отредактировано AD0DE412 (Ноя. 13, 2022 22:07:58)

Офлайн

#7 Ноя. 13, 2022 22:07:54

djjec
Зарегистрирован: 2022-11-12
Сообщения: 21
Репутация: +  0  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

AD0DE412
кстате в линуксе вроде можно в рам создавать файловию систему так что если это возможно то можно разместить там этот ваш файл
В Рам не влезает файл, пробовал меньше 20 гиг тоже не лезет, видимо при распаковке увеличивается более чем в 6 раз, раз ему 128 гиг памяти не хватает.
Я слышал что можно сделать, чтобы он не слова искал а строки и эти строки рандомно считал и выводил уже результат, не закидывая весь файл в память

Офлайн

#8 Ноя. 13, 2022 22:11:58

AD0DE412
Зарегистрирован: 2019-05-12
Сообщения: 1130
Репутация: +  44  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

эээ он у вас где находится на диске так
создаете в в рам блочное устройство с файловой системой вот как прям на жостком диске (вещь не обязательная просто все будет быстрее)
перекладываете этот ваш файл туда
дальше потрашите его при помощи dd в базу данных
переписываете ваш скрипт для работы с ней
получаете профит



1. пжлст, форматируйте код, это в панели создания сообщений, выделите код и нажмите что то вроде
2. чтобы вставить изображение залейте его куда нибудь (например), нажмите и вставьте ссылку на его url

есчщо

Отредактировано AD0DE412 (Ноя. 13, 2022 22:12:32)

Офлайн

#9 Ноя. 13, 2022 22:17:22

xam1816
Зарегистрирован: 2020-05-11
Сообщения: 1370
Репутация: +  121  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

djjec
Я слышал что можно сделать, чтобы он не слова искал а строки и эти строки рандомно считал и выводил уже результат, не закидывая весь файл в память
так я тебе о чем и писал ссылка

Офлайн

#10 Ноя. 13, 2022 22:27:41

AD0DE412
Зарегистрирован: 2019-05-12
Сообщения: 1130
Репутация: +  44  -
Профиль   Отправить e-mail  

Генератор слов из файла большого размера

xam1816 по идее то что вы предлагаете должно сработать но мне кжется что здесь стоит сменить формат даных просто по тому что …



1. пжлст, форматируйте код, это в панели создания сообщений, выделите код и нажмите что то вроде
2. чтобы вставить изображение залейте его куда нибудь (например), нажмите и вставьте ссылку на его url

есчщо

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version