Ну вобщем и целом, нужно сначала проверить что это ваш первый запуск. Первое что вам нужно, это некая опция в реестре, или конфиг файле, типа FirstRun. Если такой записи нет или она равна True, то делаем вывод что это первый запуск.
Втрое это определить какая программа по умолчанию сейчас используется. Как это сделать гугл вам в помощ, потому как от версии к версии венды у них там чтото постоянно меняется. В 10-ке точно не все ка у людей, чутка инфы с мсдн
https://msdn.microsoft.com/en-us/library/cc144158(VS.85).aspx Если это таки не ваша программа, то выводим пользователю табличку, с предложением сделать программу редактором по умолчанию.
Далее в зависимости от выбора пользователя Если он ответил да, изменяем реестр, ассоциируя ваш редактор с нужными типами файлов. вот тут есть пример с mp3 , думаю разобраться не составит труда,
http://www.oszone.net/12760/assoc. Еще раз предупреждаю, эта информация акутальна для 7-8, для 10 там все по другому, примерно както так:
https://blogs.technet.microsoft.com/windowsinternals/2017/10/25/windows-10-how-to-configure-file-associations-for-it-pros/Если нет то ничего не делаем.
Меняем параметр FirstRun на False, чтобы при следующем старте оно не спрашивало.