Иван Алексеевич Гарцев родился 7 (по новому стилю — 20) декабря 1902 года в селе Собакино (ныне — Шатковский район Нижегородской области, по другим данным, в селе Красная Горка того же района).

В сентябре 1923 года Гарцев был призван на службу в Рабоче-Крестьянскую Красную Армию. В 1926 году он окончил Горьковскую пехотную школу имени И. В. Сталина, после чего служил на командных должностях в стрелковых частях Белорусского военного округа. Дважды — в 1932 и 1934 года — оканчивал курсы «Выстрел». С 1939 года Гарцев командовал 205-м стрелковым полком 52-й стрелковой дивизии Ленинградского военного округа. Участвовал в советско-финской войне, за боевые заслуги был награждён первым орденом Красного Знамени. После её окончания Гарцев служил помощником начальника учебного отдела Военно-политической академии имени В. И. Ленина.

В августе 1941 года Гарцев был назначен командиром 323-й стрелковой дивизии, которая в ноябре того же года была направлена на фронт Великой Отечественной войны. Во главе этого соединения он участвовал в битве за Москву, в том числе в Тульской наступательной операции. К началу 1942 года дивизия Гарцева прошла с боями 250 км, освободив большое количество населённых пунктов, в том числе посёлок Епифань, города Богородицк, Плавск и Людиново, захватив множество трофеев, освободив более 500 пленных красноармейцев. Части дивизии совершили трудный марш в обход города Белёва, предрешивший его взятие ударом с хода. Перейдя к обороне на фронте около 40 км, дивизия не только успешно отразила все немецкие атаки, но и провела несколько частных наступательных операций. За эти отличия Гарцев был представлен к ордену Красного Знамени.

В дальнейшем дивизия в течение полутора лет участвовала в оборонительных операциях в районе города Кирова Калужской области. В июле 1943 года Гарцев был назначен командиром 53-го стрелкового корпуса 11-й гвардейской армии. Под его командованием корпус успешно действовал во время Орловской, Брянской, Гомельско-Речицкой операциях, освободив города Бежица и Сураж, ряд районов Белорусской ССР. 24-30 июня 1944 года корпус Гарцева прорвал мощную немецкую оборону в междуречье Днепра и Березины, освободив около 80 населённых пунктов, в том числе города Жлобин и Бобруйск. В результате этого противник потерял убитыми и пленными около 3250 солдат и офицеров, былизахвачены большие трофеи.

Впоследствии корпус Гарцева участвовал в Люблин-Брестской и Восточно-Прусской операциях, добившись больших успехов. 14-17 января 1945 года его части прорвали укреплённую немецкую оборону и, развивая наступление, заняли сотни населённых пунктов и нанесли противнику огромные потери. 26 января 1945 года корпус подвергся неожиданной контратаке превосходящими силами противника и был расчленён на несколько частей, но Гарцев в тяжёлых условиях сумел наладить управление, что позволило остановить немецкие войска и три дня спустя полностью восстановить положение.

В дальнейшем части корпуса Гарцева штурмовали город Браунсберг, форсировали залив Фришес-Хафф, разгромили немецкую группировку к югу от Данцига. После окончания войны продолжил службу в Советской Армии. С января 1946 года занимал должность заместителя командира сначала 28-го гвардейского, а затем 6-го стрелкового корпусов. В октябре 1948 года Гарцев был уволен в запас. Умер 30 декабря 1961 года, похоронен на Введенском кладбище Москвы (участок № 10).