Призван по мобилизации 22 августа 1941 года, Службу начал в 30-м запасном артиллерийском полку в Бершетских лагерях Молотовской области. С апреля 1942 года - красноармеец, ездовой орудийного расчета 1141-го стрелкового полка 341-й (1-го форм.) стрелковой дивизии, сформированной в Сталинграде. Дивизия в составе 9-армии Южного Фронта вела тяжелые оборонительные бои на левом берегу реки Северский Донец, а затем в большой излучине Дона на дальних подступах к Сталинграду. В этих боях Пермяков А.Я. получил осколочное ранение в грудь. С июля 1942 - красноармеец, стрелок 1034-го стрелкового полка 293-й (1-го форм.) стрелковой дивизии, в июле 1942 выведенной из состава Донского фронта в резерв для пополнения и переформирования. К началу ноября 1942 года дивизия прибыла на плацдарм у станицы Клётской, Сталинградской области.
В ходе операции «Уран» с 19 ноября 1942 года в первом эшелоне 21-й армии Донского фронта принимала участие в окружении и уничтожении вражеской группировки войск в районе Сталинграда. 21 января 1943 года за боевую доблесть была преобразована в 66-ю гвардейскую стрелковую дивизию, а ее 1034-й стрелковый полк стал именоваться 193-м гвардейским.
С 5 мая 1943 года дивизия в составе 5-й гвардейской (бывшей 66-й) армии находилась в резерве Ставки ВГК. 10 июля 1943 года армия была переподчинена Воронежскому фронту и в ночь на 11 июля в ходе оборонительного сражения под Курском заняла жесткую оборону по реке Псёл на рубеже г. Обоянь Курской области хутор Весёлый Белгородской области. С 12 по 23 июля 1943 года, действия в первом эшелоне армии, участвовала в мощном контрударе Воронежского фронта, прорвала оборону противника и вышла на рубеж села Драгунское Белгородской области. В ходе Белгородско-Харьковской наступательной операции с 3 августа 1943 года вновь прорвала глубоко эшелонированную оборону, разгромила противостоящие части 3320й немецкой пехотной дивизии и только за первые трое суток напряженных боев продвинулась вперед на 32 км.
7 сентября 1943 года 5-я гвардейская армия была передана в состав степного фронта.
Гвардеец-автоматчик Пермяков А.Я. 9 сентября 1943 года был тяжело ранен пулей в лучезапястный сустав правой руки. Находился на излечении в эвакогоспиталях в г. Тамбов, а с 29 декабря 1943 года Красноярских эвакогоспиталя ЭГ-987 и ЭГ-985.
После излечения признан негодным к военной службе и 11 января 1944 года комиссован.
Награжден медалями «За боевые заслуги», «За оборону Сталинграда», «За победу над Германией в Великой Отечественной войне 1941-1945 гг.» и «За отвагу»