Можно ли в os.startfile() указать приложение, с помощью которого откроется данный файл?

А что вам мешает документацию смотреть. Если коротко то нет. Но можно зарегистрировать разные приложения на разные операции, но это уже не по питону вопрос.