Происходил из дворянского рода Дмитриевых, считавшего себя потомками смоленских князей. Родился10 (21) сентября 1760 в имении отца Ивана Гавриловича Дмитриева (1736—1818) — селе Богородском (теперь Троицкое) Казанской (позднее Симбирской) губернии. Его мать Екатерина Афанасьевна (1737—1813) принадлежала по рождению к богатому роду Бекетовых. Получил домашнее образование, несколько лет обучался в частном пансионе Ф. Ф. Кабрита вСимбирске.