В армии с сентября 1935 года. В 1937 году окончил Оренбургскую военную авиационную школу лётчиков и лётчиков-наблюдателей. Служил в ВВС лётчиком и командиром звена истребительных авиаполков (в Ленинградском военном округе).Участник советско-финляндской войны: в ноябре 1939 – марте 1940 – командир звена 49-го истребительного авиационного полка. Совершил 77 боевых вылетов на истребителе И-16. К началу Великой Отечественной войны Иван Глухих был уже опытным военным лётчиком. За бои в период Советско - Финляндской войны был удостоен первой боевой награды - ордена Красной Звезды. С октября 1941 года по июнь 1943 года служил в составе 271-го истребительного авиационного полка заместителем командира и командиром авиаэскадрильи, штурманом 271-го ИАП, базировавшегося под Ростовом-на-Дону. Здесь он вступил в свой первый бой в этой войне и сбил первый вражеский бомбардировщик Ju-87. А вскоре прославился как мастер лобовых атак. Своим боевым опытом, он, как командир эскадрильи щедро делился с летным составом. Каждый воздушный бой, все его положительные моменты и недостатки обязательно разбирались в коллективе и Иван Михайлович старался проанализировать все тактические приемы и хитрости противника, противопоставить им свою наступательную тактику. Особое внимание он уделял наблюдению каждым летчиком за ходом боя, использованию радиосвязи, взаимной выручке, надежному прикрытию штурмовой и бомбардировочной авиации, ведению воздушного боя парой и четкому взаимодействию пар в бою. В самый тяжелый период войны, в боях 1941 года эскадрилья Глухих И.М. сбила 21 самолет противника и сожгла на аэродромах 12 вражеских машин. На личном счету Глухих Ивана к концу 1941 года было 6 сбитых вражеских самолета. Штурмовая и бомбардировочная авиация, прикрытая летчиками эскадрильи капитана Глухих, всегда действовала уверенно и никакое численное превосходство противника не могло заставить их выйти из боя или проиграть его. Моя дядя был бесстрашным воздушным бойцом, беззаветно предан Родине, не жалел сил и жизни за ее освобождение от вражеских захватчиков, был отличным командиром и воспитателем. К июлю 1943 году Гвардии майор И.М.Глухих выполнил около 300 успешных боевых вылетов на истребителях ЛаГГ-3, ЯК-7Б, Як-9, провел более 40 воздушных боев, в воздушных боях сбил 15 самолетов противника (11 лично и 4 в группе с товарищами), еще 11 самолетов разных типов уничтожил на аэродромах. Воевал на Южном, Калининском, Северо-Западном, Брянском и Западных фронтах, Участвовал в Ростовских оборонительной и наступательной, Барвенково-Лозовской, Демьянской и Орловской операциях, в боях за Сталинград и под Демьянском. 

С октября 1943 года  работал лётчиком - испытателем новых боевых машин. Летал на всех типах поршневых и реактивных истребителей. Одним из первых освоил реактивный бомбардировщик Ил-28. За испытания самолётов был награждён орденом Отечественной войны I степени.

Более 12 лет полковник И. М. Глухих пробыл на испытательной работе (испытывал серийные истребители Як-7 и Як-9У,  Як-9В и Як-9П, серийные учебно-тренировочные истребители МиГ-15УТИ, испытывал серийные реактивные истребители Як-15, Як-17 и Як-23, серийные реактивные бомбардировщики Ил-28 . Только в январе 1956 года по состоянию здоровья оставил её. Но авиации не изменил и ещё почти четверть века работал авиадиспетчером на военных заводах страны. Последнее место его службы - Московский вертолётный зав од имени М. Л. Миля.

 С большой гордостью Иван Михайлович вспоминал о том, что на этой работе он всегда чувствовал поддержку своих друзей, таких известных лётчиков - испытателей, как дважды Героя Советского Союза Георгия Михайловича Паршина, погибшего при испытании самолёта в 1956 году, Героев Советского Союза Сергея Николаевича Анохина, Фёдора Ивановича Бурцева, знаменитого в авиационных кругах Марка Лазаревича Галлая. Ответственная и опасная работа сблизила их, взаимно обогащала.

Награды

За мужество и героизм, проявленные в боях, капитану Глухих Ивану Михайловичу 1 мая 1943 года присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 929).

Орден Красного Знамени (23.02.1942).

Орден Александра Невского (7.03.1943).

Два ордена Отечественной войны 1-й степени (18.08.1945; 11.03.1985).

Два ордена Красной Звезды (20.05.1940; 15.11.1950).

Медаль «За боевые заслуги» (6.11.1945),

6 медалей.

Жил в Москве. Умер 8 мая 1990 года. Похоронен на Троекуровском кладбище в Москве.

В городе Копейск Челябинской области на Аллее Героев установлен бюст И.М.Глухих, а на здании военкомата – мемориальная доска.