Помогите нужна программа генератор из текстового файла txt очень большого объёма (примерно 40 гиг)
Задача:
1. взять из файла 2 рандомных слова и совместить их без пробелов ( например взяты слова Коля Маша, на выходе КоляМаша)
2.Возможность повтора этих действий но уже с другими словами (так же рандомно), например указать параметр -N 100000 и тогда будет повтор действий 100000 раз.
3.Возможность добавить самому любое слово которое будет неизменно для всего цикла повторов.
У меня есть для Python 2, но она не может прочитать такой огромный файл.
Вот пример моей программы
import sys
import getopt
import random
#sys.stdout = open('test1.txt','wt')
help_message = '''
Command Exntensions:
-n <x> or --number <x>: Number of sample code phrases given. (Default is 5)
-w <file> or --wordlist <file>: Uses another wordlist to generate code phrases from.
'''
CODEWORDS = open('02.txt', 'r').readlines()
class Usage(Exception):
def __init__(self, msg):
self.msg = msg
def generate(prefix=False, number=5):
while number > 0:
if prefix == 'TRUE':
print ("Not Supported.")
# word1 = PREFIXES[int(random.uniform(0,len(PREFIXES)))]
elif prefix:
word1 = prefix
else:
word1 = CODEWORDS[int(random.uniform(0,len(CODEWORDS)))]
word2 = CODEWORDS[int(random.uniform(0,len(CODEWORDS)))]
print "Моё словоs%s%" % (word1.rstrip(), word2.rstrip())
number -= 1
def main(argv=None):
number = 5
prefix = False
if argv is None:
argv = sys.argv
try:
try:
opts, args = getopt.getopt(argv[1:], "hn:p:i:vw:", ["help", "number=", "prefix=", "wordlist="])
except getopt.error, msg:
raise Usage(msg)
# option processing
for option, value in opts:
if option == "-v":
verbose = True
if option in ("-h", "--help"):
raise Usage(help_message)
if option in ("-n", "--number"):
number = int(value)
if option in ("-w", "--wordlist"):
global CODEWORDS
print "Importing: %s" % value
CODEWORDS = open(value, 'r').readlines()
if option in ("-p", "--prefixe"):
print value
if (value):
prefix = value
else:
prefix = 'TRUE'
generate(prefix, number)
except Usage, err:
print >> sys.stderr, sys.argv[0].split("/")[-1] + ": " + str(err.msg)
print >> sys.stderr, "\t for help use --help"
return 2
if __name__ == "__main__":
sys.exit(main())