Попробовал объединить эти три запроса в один - он вообще около 4 секунд выполняется

Посмотрите если есть агрегации или аннотации. Джанго по умолчанию при сложном запросе добавляет все поля в блок HAVING запроса , когда они там не нужны. Был один такой незаметный запрос на 40 секунд недавно.
Возможно нужны не все поля в результирующей модели, например поля textfield будут много отжирать. Используйте для вывода только нужных полей вызов метода only()