А точнее сказать не только в админку, а просто пройти авторизацию не могу. При вводе логина/пароля получаю ошибку “Пожалуйста, введите верные имя пользователя и пароль”. Произошло это после установки publicauth и входа под аккаунтом vk, все работает, но после выхода авторизацию могу пройти только под этим аккаунтом, а все пользователи, добавленные вручную получают ошибку.

Проблема решена. Если кто-то столкнется - проблема была в отсутствовавшей у меня настройке:
AUTHENTICATION_BACKENDS = (
‘django.contrib.auth.backends.ModelBackend’,
)