В документации Django написано что конструкция
является эквивалентом SQL-конструкции вида OFFSET 5 LIMIT 5

Разве такой подходя является правильным? Как я понимаю эта конструкция достает все элементы модели в список и потом уже средствами Python обрезает список до нужно длинны. Правильно ли я все понимаю?

Ну гляньте через as_sql() скорее всего конечно лимит там.

pyOut

Entry.objects.all()[:5]

является эквивалентом SQL-конструкции вида OFFSET 5 LIMIT 5

Начнем с того что это эквивалет LIMIT 5

pyOut
Правильно ли я все понимаю?

Нет. Слайсы для QuerySet генерируют правильные OFFSET/LIMIT в запросе.