На фронте с июля 1941г.

В начале июля 1943г. на базе 224 гвардейского гаубичного артиллерийского полка была сформирована 21 гвардейская гаубичная артиллерийская бригада. Командир бригады- гвардии полковник Штейн Леонид Эдуардович.

На вооружении бригада имела 152-мм и 208-мм гаубицы.

Гвардии старшина Коваленко был назначен командиром отделения тяги 6 батареи 2 артиллерийского дивизиона. Избран секретарем первичной комсомольской организации дивизиона.

С июля по октябрь 1943г. бригада участвовала в боях в районе Синявино.

Иван Андреевич участвовал в разведке переднего края противника, выявляя огневые точки, для последующего уничтожения.

23 июля, при обстреле огневых позиций батареи противником, помогал расчетам вести огонь по вражеским опорным пунктам.

Приказом от 26 июля 1944г. был награжден медалью «За отвагу».

Награжден медалями «За оборону Москвы», «За оборону Ленинграда».

В ноябре 1943г. бригада была передислоцированы из-под Синявино под Ленинград и вошла в состав 42 армии.

14 января 1944г. началось наступление наших войск.

19 января было освобождено Красное Село. 25 января бригада участвовала в освобождении Гатчины.

Со 02 февраля бригада совершила 200-километровый марш в район Кингисеппа.

С 11 февраля участвовала в наступлении в направлении г.Нарва.

Осколочное ранение получил командир полка Штейн, его сменил гвардии полковник Бондарев Тихон Иванович (участник Парада Победы 24 июня 1945г.).

26 июля 1944г. Нарва была взята.

В сентябре 1944г. войска фронта прорвали оборону противника у г.Тарту и преследовали отступающего врага.

Бригада, совершив 120-километровый марш, расположилась у г.Раквера (Эстония).

В начале ноября 1944г. бригада была переброшена в г.Острув Мазовецки (Польша) и вошла в состав 2 Белорусского фронта.

К январю 1945г. гвардии старшина Коваленко- старший радиотелеграфист бригады.

В январе 1945г. бригада участвовала в прорыве обороны противника на р.Нарев в районе г.Пултуск.

16 января, находясь в боевых порядках наступающей пехоты, Иван Андреевич передавал по рации координаты обнаруженных огневых точек противника и скоплений пехоты. Когда враг открыл огонь прямой наводки, Иван Андреевич выдвинулся с рацией вперед, обнаружил орудие и передал данные на батерею. Вражеское орудие было уничтожено, наша пехота продолжила наступление.

Приказом от 22 января 1945г. гвардии старшина Коваленко был награжден орденом Красной Звезды.

17 января 1945г. был взят г.Цеханув.

Бригада совершила 220-километровый марш в район г.Ризенбург.

С 30 января по 20 февраля бригада участвовала в операции по овладению крепостью Мариенбург (совр. г.Мальборк, Польша).

С 20 февраля по 10 марта- в уничтожении окруженной группировки противника в г.Граденц (совр. г.Грудзёндз, Польша).

С 20 марта по 05 апреля бригада участвовала в уничтожении немецкой группировки, окруженной в районе Данцига (Гданьска).

05 апреля бригада совершила марш к г.Хойнице, погрузилась в эшелоны и передислоцировалась в район д.Родербек (совр. Rynica, Польша).

С 16 по 30 апреля участвовала в прорыве обороны противника на р.Одер в районе г.Шведт (Германия).

После выполнения боевых задач бригада была выведена в резерв в район д.Родербек, с 01 мая приступила к боевой подготовке.

Гвардии старшина Коваленко был награжден медалями «За взятие Кенигсберга», «За победу над Германией в Великой Отечественной войне 1941-1945 гг.».