В Красной Армии с 1938г.

Вероятно, окончил ШМАС (школа младших авиаспециалистов).

Был направлен в 34 скоростной бомбардировочный авиаполк, который базировался под Ташкентом.

Полк имел на вооружении самолеты СБ.

В конце август- начале сентября 1941г. полк принимал участие в Иранской операции.            

В октябре был переброшен на Западный фронт, участвовал в обороне Москвы.

В начале декабря 1941г. передан в состав 2 смешанной авиадивизии, перебазировался в Ленинград на аэродром Капитолово.

Старший сержант Рыбалко- стрелок-радист в экипаже командира звена 2 авиаэскадрильи полка лейтенанта Авдеева Ивана Степановича.

К 12 февраля совершил 35 боевых вылетов, 21 из которых- ночью. Был представлен к ордену Красной Звезды, приказом от 03 мая 1942г. награжден медалью «За отвагу».

В апреле 1942г. личный состав был выведен в тыл. В 3 запасном авиаполку (г.Йошкар-Ола) проходил переобучение на самолет Пе-2.

В декабре 1942г. включен в состав вновь сформированной 301 бомбардировочной авиадивизии. Передислоцировался в Ярославль.

С января 1943г. полк вел боевую работу на Брянском фронте.

Иван Андреевич был принят в ряды ВКП(б).

05 мая 1943г. полку присвоено почетное наименование «Ташкентский».

13 июня старший сержант Рыбалко, совершивший 49 боевых вылетов, был представлен к ордену Отечественной войны II степени. Приказом от 17 июня 1943г. награжден орденом Красной Звезды.

Летом 1943г. полк принимал участие в Курской битве.

07 июля экипаж командира звена младшего лейтенанта Воробьева Юрия Яковлевича в составе 9 Пе-2 бомбардировал войска противника в районе пос.Подолянь. Зенитным огнем у его самолета был пробит маслобак, один мотор вышел из строя. Осколками снарядов был смертельно ранен стрелок-радист старший сержант Рыбалко. Летчик выполнил задание на одном моторе и привел самолет, получивший 33 пробоины, пройдя 175км., на свой аэродром.

Рыбалко Иван Андреевич был похоронен на аэродроме Телегино в Орловской обл.