Великий князь Алексей Александрович был четвёртым сыном императора Александра II (1818–1881) и императрицы Марии Александровны (1824–1880). Со дня рождения он был зачислен дедом, Николаем I, в списки Гвардейского экипажа и предназначался к военно-морской службе. При крещении он получил ордена Св. апостола Андрея Первозванного, Св. Александра Невского, Белого орла и Св. Анны 1-й ст. Великий князь состоял шефом лейб-гвардии Московского, 37-го пехотного Екатеринбургского, 77-го пехотного Тенгинского полков, 1-го Восточно-Сибирского линейного батальона и 5-го флотского экипажа.

Четвёртый сын императора получил домашнее образование. В 1858–1874 годах он воспитывался под руководством известного учёного-мореплавателя К. Н. Посьета, осваивая теоретический курс обучения морским наукам и принимая участие в плаваниях российских кораблей. В 1857 году великому князю был присвоен чин мичмана, в 1866 году – лейтенанта, а в 1868 году он был пожалован во флигель-адъютанты к Е. И. В. В том же году Алексей Александрович попал в кораблекрушение в проливе Скагеррак. В 1870 году он совершил плавание по внутренним водным системам из Санкт-Петербурга в Архангельск, а затем на корвете «Варяг» вернулся морем в Кронштадт. В 1871–1873 годах на военном фрегате «Светлана» великий князь плавал в Северную Америку, Японию и Китай, после чего вернулся в столицу сухопутным путём через всю страну. В 1873 году он получил чин капитана 1-го ранга, затем несколько лет командовал Гвардейским экипажем и одновременно фрегатом «Светлана». В 1874 году Алексей Александрович стал членом кораблестроительного и артиллерийского отделений Морского технического комитета, в 1875 году – почётным членом Общества для содействия русскому торговому мореходству, а в 1877 году – почётным членом Николаевской Морской академии. В июне 1877 года его произвели в контр-адмиралы с зачислением в Свиту Е. И. В.

Во время Русско-турецкой войны 1877–1878 годов Алексей Александрович состоял начальником всех морских команд на Дунае. За успешную проводку понтонов из Никополя в Систово мимо вражеских позиций и охрану переправы русских войск он был награждён золотой саблей с надписью «За храбрость» и орденом Св. Георгия 4-й ст. В 1880 году великий князь был пожалован в генерал-адъютанты, а в 1881 году – назначен членом Государственного совета. В том же году он стал управляющим флотом и морским ведомством, а затем был назначен главным начальником флота и морского ведомства с правами, предоставленными генерал-адмиралу. Параллельно Алексей Александрович возглавлял Особое совещание по усилению русского военного флота. При его участии разрабатывалась двадцатилетняя судостроительная программа (1881) и последующие планы военно-морского строительства. В 1882 году великий князь получил чин вице-адмирала, в следующем году – чин генерал-адмирала, а в 1888 году – адмирала. В 1892 году его назначили членом Комитета министров и шефом Морского кадетского корпуса.

За годы управления Алексея Александровича морским ведомством и флотом были преобразованы корпуса инженер-механиков и корабельных инженеров, увеличено число флотских экипажей, построены новые броненосцы и крейсеры, обустроены или усовершенствованы порты в Севастополе, Порт-Артуре, Кронштадте, Владивостоке. Негативными сторонами руководства великого князя были рост уровня казнокрадства в его ведомстве, замедление темпов технического перевооружения флота и снижение его боеспособности. 2 июня 1905 года, в разгар Русско-японской войны, Алексей Александрович был снят с занимаемых постов с сохранением звания генерал-адмирала.

Последние годы жизни великий князь провёл во Франции. По словам великого князя Александра Михайловича, его родственник не представлял, как можно «провести год вдали от Парижа». В 1908 году Алексей Александрович умер в столице Франции от воспаления лёгких. Его похоронили в великокняжеской усыпальнице Петропавловского собора в Санкт-Петербурге.

Алексей Александрович не был женат, но имел от связи с фрейлиной императрицы Александрой Васильевной Жуковской (1842–1899), дочерью знаменитого поэта, сына Алексея (1871–1832). В 1884 году указом Александра III тот был возведён в графское Российской империи достоинство.