Родился 19 сентября 1918 года в селе Бестужево Лунинского района Пензенской области в семье крестьянина. В сентябре 1940 года был призван в Советскую Армию. Прошел обучение военному делу. С июля 1941 года принял участие в борьбе с немецко-фашистскими захватчиками.
С сентября 1940 по октябрь 1943 служил стрелком 115 Стрелкового полка. Затем с октября 1943 года по ноябрь 1943 года воевал в составе 343 Стрелкового полка. Старшине Грачеву было дано задание перейти за линию фронта и добыть снаряд от новой немецкой установки. Задание было успешно выполнено. В ходе мероприятия он  закрыл собой товарища и был тяжело ранен. Это было в районе города Великие Луки. Андрей Иванович был отправлен на лечение в 1327 эвакогоспиталь г. Великие Луки, где находился с ноября 1943 по апрель 1944 года.
За участие в Великой Отечественной войне  Грачев Андрей Иванович награжден орденом Красной звезды.
В апреле 1944 года вернулся домой, так в связи с ранением он не мог дальше принимать участие в боевых действиях с немцами.
Умер 19 августа 2002 года, похоронен в с. Симанки Иссинского района Пензенской области.