Из дворянского рода шведского происхождения. Родился в семье полковника русской службы, командира Выборгского пехотного полка Густава Фридриха (Фёдора Яковлевича) Адлерберга (1738–1794) и Анны Шарлотты Юлианы (Юлии Фёдоровны) Адлерберг, урождённой фон Багговут (1760–1839), воспитательницы младших сыновей Павла I Николая и Михаила Павловичей, а затем начальницы Воспитательного общества благородных девиц.

С детских лет Адлерберг был близок к великому князю Николаю Павловичу. Он получил образование в Пажеском корпусе, затем, в 1811 году, был произведён в прапорщики лейб-гвардии Литовского полка, в составе которого принимал участие в Отечественной войне 1812 года и Заграничных походах русской армии 1813–1814 годов. Отличился в сражениях под Бородином, при Люцене и при Бауцене. В августе 1813 года получил чин подпоручика, а в январе 1816 года – поручика. Год спустя был назначен адъютантом к Николаю Павловичу и с тех пор не разлучался с ним до самой смерти императора. В январе 1818 года был произведён в штабс-капитаны, в августе 1819 года – в капитаны, в марте 1820 года – в полковники. В 1823 году возглавил канцелярию генерал-инспектора по инженерной части, которым был Николай Павлович. В декабре 1825 года, по воцарении императора Николая I, был пожалован в флигель-адъютанты к Е. И. В. и назначен помощником правителя дел Следственной комиссии по делу декабристов. Во время Русско-турецкой войны 1828–1829 годов сопровождал Николая I в действующую армию, находился при переправе через Дунай и при осадах Браилова, Шумлы, Варны. Был произведён в генерал-майоры с зачислением Е. И. В., а затем пожалован в генерал-адъютанты (1828). В марте 1828 года стал директором канцелярии начальника Главного штаба Е. И. В., а в мае 1832 года – начальником Военно-походной канцелярии Е. И. В. Параллельно состоял в Военном совете, председательствовал в Особом комитете по устройству и управлению оружейными заводами. В декабре 1833 года был произведён в генерал-лейтенанты. В 1836 году был назначен исполняющим дела военного министра на правах его товарища. В 1841 году стал управляющим, а год спустя – главноначальствующим над Почтовым департаментом. При нём в России были введены первые знаки почтовой оплаты – штемпельные конверты и почтовые марки.

В 1842 году Адлерберг вошёл в Государственный совет, а в 1843 году – был произведён в генералы от инфантерии. В июле 1847 года императорским указом Адлерберг был возведён, с нисходящим его потомством, в графское Российской империи достоинство. В 1852 году он встал во главе министерства Императорского Двора, в 1856 году по совместительству возглавил Императорскую Главную квартиру, занял посты канцлера российских императорских и царских орденов и министра Уделов. В январе 1857 года был назначен членом Секретного (Главного) комитета по крестьянскому делу и Комитета для устройства быта крестьян.

В апреле 1870 года, вследствие потери зрения, Адлерберг был уволен от всех занимаемых должностей. На посту министра Императорского Двора и Уделов ему наследовал собственный сын Александр. В отставке Адлерберг продолжал состоять в Государственном совете. В 1884 году он скончался в возрасте 92 лет и был похоронен на Волковом православном кладбище Санкт-Петербурга.

Адлерберг был женат на Марии Васильевне Нелидовой (1797–1870). В браке родились шестеро детей: Александр (1818–1888), Николай (1819–1892), Василий (1827–1905), Анна (1821 – ?), Александра (1823–1827) и Юлия (1829–1854).