Сначала получаешь список пар питоновскими средствами, а потом из этого списка пар делаешь pandas.DataFrame .
Можешь использовать os.listdir() как для получения списка директорий, так и для получения списка файлов в директории. Но os.listdir() не дифференцирует директории и файлы - для выдаваемых имён нельзя определить, имя файла это или имя директории (только применять там дополнительно os.path.isfile() и os.path.isdir(), что накладно).
Поэтому, скорее всего, тебе надо будет использовать os.walk().
Пример конвертирования списка пар в датафрейм
>>> import pandas
>>>
>>> data = [('name1', 'value1'), ('name2', 'value2')]
>>>
>>> df = pandas.DataFrame(data, columns=('file', 'directory'))
>>> df
file directory
0 name1 value1
1 name2 value2
>>>
>>> import pandas
>>>
>>> data = [
... ('filename1.jpg', 'c:\\dir1\\dir1\\dir1'),
... ('filename2.jpg', 'c:\\dir2\\dir2\\dir2')
... ]
>>>
>>> df = pandas.DataFrame(data, columns=('file', 'directory'))
>>> df
file directory
0 filename1.jpg c:\dir1\dir1\dir1
1 filename2.jpg c:\dir2\dir2\dir2
>>>