По всей видимости pop() реализован так, что удаляет и возвращает первый элемент в множестве. А т.к. элементы в множестве хранятся в произвольном порядке(вернее так, как удобнее интерпретатору для выполнения других операций), то и в доках написано что будет возвращен произвольный элемент.
Числа удобно хранить в порядке возрастания.
L = [randrange(1, 100) for i in range(100)]
print('list: ', L)
S = set(L)
print('set: ', S)
Потому и результат такой.
P.S. все это лишь мои предположения, если что прошу более опытных товарищей меня поправить