Найти - Пользователи
Полная версия: Увеличение памяти
Начало » Центр помощи » Увеличение памяти
1
Danich
Здравствуйте!
Вопрос:
Можно ли увеличить количество выделяемой оперативной памяти Питону. По умолчанию это значение достигает 4 Гб.
В данном случае ОС - Ubuntu 12.04 lts
Заранее спасибо
Budulianin
Danich
Можно ли увеличить количество выделяемой оперативной памяти Питону. По умолчанию это значение достигает 4 Гб.

Cgroups тебе в помощь

На что так памяти много?
Danich
Спасибо
Поиск регулярных выражений в файле размером 1 - 1.2 Гб
bw
Ну может не стоит сразу весь грузить, а обрабатывать по частям?
Можете объяснить задачу подробнее?

..bw
Budulianin
Danich
Спасибо
Поиск регулярных выражений в файле размером 1 - 1.2 Гб

Скорее всего, ты неправильно решаешь задачу. Для чтения файла(любого размера) построчно, процесс Python будет тратить небольше 8 МБ
Danich
Я уже написал программу, работает корректно, памяти жрет столько, потому что выгружаю весь файл в память. Я разделил уже по частям и распараллелил. В итоге получается примерно 10**10 символов, с которыми работает программа, разделенные на 4 процесса. Попробую сегодня еще поделить. 10**7 - работает шикарно, примерно секунд 10, а больше - умирает из-за недостатка выделяемой памяти.
Задачу чуть позже напишу.
p.s. re не использовал.
Danich
Переписал прогу через re. Производительность увеличилась на несколько порядков, а расходуемая ОЗУ с 4 Гб до 2 Гб )))
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB