Родился в слободе Кукарка Вятской губернии (ныне – г. Советск Советского района Кировской области). В довоенный период находился на партийной и советской работе. С 1925 год жил в пгт Махнёво, п. Шамарах, г. Первоуральске и г. Полевском Свердловской области. В первые дни войны ушел добровольцем на фронт. До лета 1943 года служил инструктором по пулемётному делу в Свердловске, в боевых действиях участвовал с августа 1943 года. 26 сентября 1943 года в бою за деревню Сидоровка и местечко Любеч (ныне – Репкинского района Черниговской области Украины) Александр Иванович, отражая контратаку противника, поддержанную танками, огнём ручного пулемёта внёс замешательство в ряды следовавших за танками автоматчиков и, воспользовавшись этим, уничтожил 15 немецких солдат. На северной окраине Любеча вывел из строя автомашину с солдатами противника. 28 сентября 1943 года при форсировании Днепра первым ворвался в траншеи противника, огнём своего пулемёта подавил 2 неприятельских огневых точки, мешавших форсировать Днепр остальным подразделениям полка. Эти эпизоды службы Жилина стали основанием для его представления к званию Героя Советского Союза. Указ о присвоении Александру Ивановичу Жилину звания Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» вышел 15 января 1944 года. Однако получить награды герой не успел. 6 марта 1944 года Александр Иванович Жилин погиб в бою у села Купель (ныне – в Волочиском районе Хмельницкой области Украины) и похоронен в братской могиле.