Форум сайта python.su
Здравствуйте. Есть софтина, которая получая множество задач запускает большое количество Python-скриптов. Каждый из скриптов несёт отдельную нагрузку. Какой-то на CPU, какой-то на HDD, какой-то на RAM. Чтоб не перегружать сервер сейчас используется жёсткий лимит на кол-во одновременно запущенных скриптов каждого вида. Это не лучшее решение т.к. лимиты выставляются “на глаз” и при переезде на новый сервер приходится опять сидеть и высчитывать их. К тому же не всегда они выставляются удовлетворительно. Иногда бывает перебор, иногда недобор.
Хотелось бы заюзать какую-нибудь технологию позволяющую замерить юз каждого ресурса каждым скриптом, чтоб система сама лимитировала количество одновременно работающих скриптов исходя из общей оценки всех ресурсов сервера.
Например, замеряем и выясняем что скрипт А юзает HDD на 10 попугаев, а CPU на 1. Скрипт Б юзает CPU на 5 попугает, а RAM на 20. И т.д. Тогда система может поглядеть на сколько попугаев сейчас “свободно” в системе и разрешить запуск того скрипта, который их выюзает не мешая остальным.
Разумеется замеры эти будут производиться руками, и просто прописываться в некий конфиг, а не вычисляться самой системой в процессе работы.
Перехали на новый сервер, замерили всё руками, прописали в конфиг, запустили систему. И она уже видит сколько и где попугаев max, сколько занято и сколько свободно.
Существует ли такое решение?
Офлайн
А приоритеты?
Офлайн
Все задачи одинаково приоритетны и их всегда больше чем сервер может переварить. Важно запускать их так, чтоб максимально утилизовать мощности сервера.
Офлайн