В декабре 1820 года Чаадаев подает в отставку. Трудно выделить какую-либо одну, решающую причину этого поступка. Не исключено, что после беседы с царем погасли надежды Чаадаева на «надлежащий путь» к славе, на соединение личной карьеры с государственными преобразованиями. Волконский сообщил Васильчикову из Лайбаха о том, что государь изъявил согласие на отставку Чаадаева, но без повышения в чине, так как со стороны получил о нем сведения очень неблагоприятные. При этом запрещалось сообщать Чаадаеву о подлинных причинах царской немилости, а при необходимости указать ему на его молодость и недовольство государя его нежеланием продолжать службу.
Вопрос об отношении Чаадаева к декабрьскому восстанию и членстве его в тайных обществах является предметом постоянных дискуссий. Сам Чаадаев на вопрос о принадлежности к тайным обществам ответил: «Ни к какому тайному обществу никогда не принадлежал. Мнение мое о тайных обществах видеть можно из находящейся в бумагах моих речи о масонстве, писаной мною еще в 1818 году, где ясно и сильно выразил мысль свою о безумстве, о вредном действии тайных обществ вообще. О существовании тайных обществ в России не имел другого сведения, как по общим слухам. О названиях же их и цели никакого понятия не имел и какие лица в них участвовали, не знал». Как бы то ни было, Чаадаев был в очень близких отношениях с руководителями Северного общества. Но он всегда выступал против насильственных методов ведения борьбы.
Чаадаев признавал, что перед отъездом из Петербурга за границу он виделся с Матвеем и Никитой Муравьевыми, князем Трубецким и Николаем Тургеневым. Матвей Муравьев-Апостол и Раевский провожали Чаадаева. Но ведь это элита тайного общества!
Когда декабристы выступили против царя, Чаадаев был за границей. Еще в 1823 году он отправился в трехлетнее путешествие. Петр Яковлевич посетил Англию, Францию, Италию, Швейцарию, Германию. В Карлсбаде он встречался с немецким философом Шеллингом. На родину Чаадаев вернулся лишь осенью 1626 года, когда его друзья-декабристы были осуждены.
Поражение декабристского движения передовая общественность переживала очень глубоко. У Чаадаева для этого были и причины личного характера. С осени 1826 года Чаадаев живет в имении тетки в Дмитровском уезде. Пять лет продолжается его затворническая жизнь, наполненная напряженной мыслительной работой. Его позиция в тот период очень хорошо иллюстрируется содержанием письма к Вяземскому: «Неуж-то надобно непременно делать дела, чтобы делать дело? Конечно, можно делать и то и другое, но из этого не следует, чтобы мысль… не могла быть вещь очень дельная.