Родился 5 мая 1927 года, г. Курган, Челябинской (сейчас Курганской) области.

В июне 1944 года приписав себе 1 год (поэтому в воинских документах год рождения значится как 1926), ушел на фронт добровольцем. Воевал в составе 757 стрелкового Неманского полка Смоленско-Бранденбургской Краснознаменной ордена Суворова 222 дивизии 33 армии I Белорусского фронта.

16 апреля 1945 года близ местечка Брисков (сейчас Республика Польша) в бою из станкового пулемета уничтожил немецкого снайпера и подавил расчеты немецких пулеметов. Затем огнем прикрывал переправу войск через канал. В этом бою Гольцев А.И. погиб. За мужество и героизм, проявленный в боях с немецко-фашистскими захватчиками, награжден орденом «Отечественной Войны II степени» (посмертно).