Danich
Дек. 7, 2013 20:24:00
Здравствуйте!
Вопрос:
Можно ли увеличить количество выделяемой оперативной памяти Питону. По умолчанию это значение достигает 4 Гб.
В данном случае ОС - Ubuntu 12.04 lts
Заранее спасибо
Danich
Дек. 8, 2013 01:41:18
Спасибо

Поиск регулярных выражений в файле размером 1 - 1.2 Гб
Ну может не стоит сразу весь грузить, а обрабатывать по частям?
Можете объяснить задачу подробнее?
..bw
Budulianin
Дек. 8, 2013 15:10:32
Danich
Спасибо
Поиск регулярных выражений в файле размером 1 - 1.2 Гб
Скорее всего, ты неправильно решаешь задачу. Для чтения файла(любого размера) построчно, процесс Python будет тратить небольше 8 МБ
Danich
Дек. 9, 2013 06:20:43
Я уже написал программу, работает корректно, памяти жрет столько, потому что выгружаю весь файл в память. Я разделил уже по частям и распараллелил. В итоге получается примерно 10**10 символов, с которыми работает программа, разделенные на 4 процесса. Попробую сегодня еще поделить. 10**7 - работает шикарно, примерно секунд 10, а больше - умирает из-за недостатка выделяемой памяти.
Задачу чуть позже напишу.
p.s. re не использовал.
Danich
Дек. 13, 2013 14:50:46
Переписал прогу через re. Производительность увеличилась на несколько порядков, а расходуемая ОЗУ с 4 Гб до 2 Гб

)))