Рудаков проходил службу в Военно-морском флоте на Северном флоте командиром БЧ-2 на эсминцах «Урицкий» и «Валериан Куйбышев» и вскоре направлен на Высшие курсы офицерского состава слушателем при артиллерийском отделе, которые окончил в октябре 1940 года. Вернувшись на Северный Флот, до ноября 1941 года служил командиром БЧ-2 на эсминцах «Карл Либкнехт» и «Гремящий», затем помощником командира эсминца «Сокрушительный».

     В 1942 году старший лейтенант Рудаков на эскадренном миноносце «Сокрушительный» охранял грузовые транспорты, следовавшие в Мурманск. Однажды во время дежурства, к несчастью моряков в Баренцевом море, разразился ужасный шторм. Волны высотой с многоэтажный дом одна за другой яростно обрушивались на военное судно. Под ударами стихии судно начало разрушаться. Из 223 членов экипажа 32 навсегда осталось в водах Баренцева моря. При этом так сложилось, что в неразберихе эвакуации командир корабля Михаил Курилех, политрук Георгий Калмыков и помощник капитана Олимпий Рудаков перешли с тонущего корабля в спасательные шлюпки раньше матросов, чем серьезно нарушили устав. За этот проступок все трое были приговорены к расстрелу. Однако по просьбе командующего Северным Флотом вице-адмирала Арсения Григорьевича Головко лейтенанту Рудакову расстрел в последний момент отменили.

     По приговору военного трибунала Северного флота Олимпий Иванович лишился воинского звания капитан-лейтенанта и приговорен к десяти годам заключением в исправительно-трудовых лагерях, с отсрочкой его исполнения до окончания военных действий и направлением на фронт. Решением Президиума Верховного Совета СССР в марте 1943 года эта мера наказания заменена пребыванием его на фронте в штрафных частях.

     Отслужив некоторое время в штрафном батальоне Карельского фронта Рудаков, как искупивший вину кровью, после ранения вернулся на Северный флот. В должности помощника капитана Олимпий Иванович поднялся на капитанский мостик эсминца «Громкий». Великую Отечественную войну завершил командиром эскадренного миноносца «Доблестный».