Python-сообщество
Форум сайта python.su
- Вы не вошли.
Уведомления
Группа в Telegram: @pythonsu
![[RSS Feed]](/static/djangobb_forum/img/feed-icon-small.png "[RSS Feed]"){kind=icon}
#1 Ноя. 13, 2022 21:23:26
- djjec
-
-
- Зарегистрирован: 2022-11-12
- Сообщения: 21
- Репутация:
0 
- Профиль Отправить e-mail
Генератор слов из файла большого размера
ZerGМне главное чтобы он в Linux в терминале выводил строку чисто из рандомных двух слов, склеенных между собой! и чтобы я мог дописать в начало строки своё еще слово Итог на вводе например : ДомМишаЛена
ЛОг файл, база адинезы, да много еще где
В наше время 40 гигами уже никого и не удивишь.
Я бы смотрел в сторону как решать данный вопрос со стороны самого файла (в базу кидать) чем на питоне костылить.
Но видимо там какието мамонты а программистов нет которые крутили это все
Офлайн
#2 Ноя. 13, 2022 21:23:57
- xam1816
-
-
- Зарегистрирован: 2020-05-11
- Сообщения: 1358
- Репутация:
119
- Профиль Отправить e-mail
Генератор слов из файла большого размера
djjecполностью код ошибки,
SyntaxError: invalid syntax
Офлайн
#3 Ноя. 13, 2022 21:24:07
- ZerG
-
-
- Зарегистрирован: 2012-04-05
- Сообщения: 2627
- Репутация:
61
- Профиль Отправить e-mail
Генератор слов из файла большого размера
djjecВерсия питона какая и отступы проверь
Влодение рускай арфаграфией - это как владение кунг-фу: настаящие мастира не преминяют ево бес ниабхадимости
Офлайн
#4 Ноя. 13, 2022 21:27:00
- djjec
-
-
- Зарегистрирован: 2022-11-12
- Сообщения: 21
- Репутация:
0
- Профиль Отправить e-mail
Генератор слов из файла большого размера
ZerGЭто всё хорошо, но я вообще в этом новичёк, точнее чайник! Думал есть готовое решение! Задача не такая сложная как я понимаю, да и 40 гиг в наше время это вообще мелочь, но как оказалось по-моему это не реально
Тебе правильно подсказали
Не нужно пытаться проглотить камаз целиком.
Твоя задача получить рандомные слова. Таким образом тебе нужно прежде всего отщипнуть от большого файла
по одной строке, мегабайту, длине - его кучоски в рандомных областях, после чего из полученных мелких кусочков вытянуть по слову и склеить их
посмотри в сторону chunks
https://www.bluebirz.net/en/make-it-chunks/ - это не решение твоей проблемы но наведет на мысли. Я гдето видел примеры можно просто указывать в мегабайтах кучски например содерэимое с 123 по 124 метр.
Итд. В любом случае открывать 40 гиг в память ради двух слов - ето какойто тупизм.
Если реально нужно очень много таких операций то наверное будет правильнее уже разово загнать весь этот файл в какую нить базу данных и стрелять из нее запросами
Какую именно базу выбрать нужно решать по структуре запроса и хранения данных
Офлайн
#5 Ноя. 13, 2022 21:30:19
- djjec
-
-
- Зарегистрирован: 2022-11-12
- Сообщения: 21
- Репутация:
0
- Профиль Отправить e-mail
Генератор слов из файла большого размера
ZerG3.11
Версия питона какая и отступы проверь
Полностью код скопировал который Вы мне дали.
Ошибка
File “C:\2\k\1.py”, line 11
^
SyntaxError: invalid syntax
Хотя в коде 10 строк
Офлайн
#6 Ноя. 13, 2022 21:30:49
- AD0DE412
-
-
- Зарегистрирован: 2019-05-12
- Сообщения: 1130
- Репутация:
44
- Профиль Отправить e-mail
Генератор слов из файла большого размера
хм а что если …. смотнировать этот файл как блочное устройство ну и дальше найти - напcиать обертку для dd
1. пжлст, форматируйте код, это в панели создания сообщений, выделите код и нажмите что то вроде
2. чтобы вставить изображение залейте его куда нибудь (например), нажмите
и вставьте ссылку на его url …
есчщо
Отредактировано AD0DE412 (Ноя. 13, 2022 21:31:17)
Офлайн
#7 Ноя. 13, 2022 21:32:29
- djjec
-
-
- Зарегистрирован: 2022-11-12
- Сообщения: 21
- Репутация:
0
- Профиль Отправить e-mail
Генератор слов из файла большого размера
AD0DE412А можно подробнее?
хм а что если …. смотнировать этот файл как блочное устройство ну и дальше найти - напcиать обертку для dd
Да и кстати, слова не могут повторятся если что
Офлайн
#8 Ноя. 13, 2022 21:36:21
- xam1816
-
-
- Зарегистрирован: 2020-05-11
- Сообщения: 1358
- Репутация:
119
- Профиль Отправить e-mail
Генератор слов из файла большого размера
djjecпокажи скрин где код, и ошибка вместе
File “C:\2\k\1.py”, line 11
^
SyntaxError: invalid syntax
Хотя в коде 10 строк
Офлайн
#9 Ноя. 13, 2022 21:37:10
- AD0DE412
-
-
- Зарегистрирован: 2019-05-12
- Сообщения: 1130
- Репутация:
44
- Профиль Отправить e-mail
Генератор слов из файла большого размера
ну это линукс же
https://linuxconfig.org/Dd
наверное и монтировать не обязательно
те читаем опеделеный диапазон ну итд итп
а так лучше все ваше это в базу загнать а дальше уже стандартно
1. пжлст, форматируйте код, это в панели создания сообщений, выделите код и нажмите что то вроде
2. чтобы вставить изображение залейте его куда нибудь (например), нажмите
и вставьте ссылку на его url …
есчщо
Отредактировано AD0DE412 (Ноя. 13, 2022 21:40:57)
Офлайн
#10 Ноя. 13, 2022 21:40:07
- djjec
-
-
- Зарегистрирован: 2022-11-12
- Сообщения: 21
- Репутация:
0
- Профиль Отправить e-mail
Генератор слов из файла большого размера
xam1816Прикрепил
покажи скрин где код, и ошибка вместе
Прикреплённый файлы: 
Снимок.PNG (19,9 KБ)
Офлайн