Я делаю все как на официальном сайте, запускаю новый проект (django-admin.py startproject mysite), потом создаю приложение (python manage.py startapp first). Вроде-бы все хорошо, но вот файл urls.py не появляется в директории first. Почему так?

Я конечно не сильно специалист, но помойму он там не должен появляться. Там его самому надо создавать.
https://docs.djangoproject.com/en/2.1/intro/tutorial01/