Записи, идущие за удалённой? Вам надо подучить основные типы данных. Скорее всего вы неправильно решаете поставленную задачу.
Словарь он тем и хорош, что доступ к элементам выполняется за O(1). А вы хотите сделать удаление O(n). Это бессмысленно, да и вообще, словарь неупорядоченная структура, непонятно, зачем упорядоченность ключей, для этого есть списки. Опишите вашу проблему.
Хотя, конечно, можно написать извращение вроде этого, но я бы подобный код никому не показывал:
>>> def foo(d, key):
... return { k if k < key else k - 1: v for k, v in d.items() if k != key }
>>> d
{1: 'A', 2: 'B', 3: ' C', 4: 'D'}
>>> print foo(d, 2)
{1: 'A', 2: ' C', 3: 'D'}