В мае 1941 окончил школу комбайнеров, после чего вернулся в село Поляна Серышевского района. А через месяц началась война. Первое время Веремей служил на Дальнем Востоке. А летом 1942 уже находился на Вяземском направлении в артиллерийском гаубичном полку. Потом сражение на Курской дуге, наступление под Житомиром. Великую Отечественную войну Иван Иванович закончил под Прагой. К этому времени  на его груди к двум медалям «За отвагу» добавился орден Красной звезды.