Родился 7 сентября 1920 года в деревне Большая Уваровка Веневского района Тульской области. Тринадцатилетним мальчиком с семьей переехал в Москву. Окончил 9 классов средней школы и школу ФЗО, работал слесарем-инструментальщиком, лекальщиком на заводе имени Лихачева, затем – авиазаводе. В декабре 1942 году добровольцем пошел в Красную армию.

Военному мастерству Иван Васильевич Филимонов обучался в особом батальоне. С нетерпением ждал он отправки на передовую линию фронта, но тяжело заболел. И только в мае 1943 года с маршевой ротой прибыл в действующую 11-ю гвардейскую армию. Зачислили его во взвод минеров 35-го отдельного саперного батальона 31-ой гвардейской дивизии.

В начале февраля 1944 года. гвардейскому стрелковому батальону было приказано осуществить разведку боем в районе деревень Симовщино и Топорино Витебского района Витебской области. В успехе этой операции немаловажную роль сыграли саперы. Они обезвредили свои поля и проделали проходы в заграждениях противника. Здесь снова отличился Филимонов – командир отделения саперной роты. Под ожесточенным вражеским огнем он снял 48 противотанковых мин. Умело расставил бойцов во время боя. Был ранен, но продолжал боевую задачу. В ночь на 23 июня 1944 года в одном из важных вражеских пунктов обороны в Витебской области он первым со своей группой проделал проход в заграждениях вражеской обороны. Но за проволочной сетью ожидала опасность: предполье было буквально «нафаншированно» минами. Иван Филимонов обезвредил 15 из них. По проходам , проделанным им и бойцам отделения, беспрепятственно прошли наши наступающие части и 26 июня 1944 года овладели городом Витебском. 31-ой гвардейской стрелковой дивизии было присвоено наименование Витебская.

За отличное выполнение заданий, мужество и отвагу Иван Васильевич Филимонов за два последние года войны был удостоен орденом Славы всех трех степеней. Кроме того, он награжден орденом Красной Звезды и несколькими боевыми медалями, получил множество благодарностей командования.

5 января 1945 года в бою у города Губиннен (ныне город Гусев Калининградской области) Иван Васильевич был тяжело контужен и в дальнейших боевых действиях не участвовал. По окончании войны Филимонов 26 лет служил в кадрах Красной Армии. Окончил танковое училище, курсы усовершенствования комсостава штаба, командовал взводом, ротой, отдельной части по тылу. В 1971 году в звании подполковника Иван Васильевич Филимонов уволился в запас. Жил в городе Электросталь Московской области.

Умер 21 ноября 2000 года.

Награжден орденами Славы 3-х степеней, Отечественной войны 1 степени, Красной Звезды, медалями.