Родился 10 (23 июня) 1906 года в станице Прохладная (ныне город Прохладный, Кабардино-Балкария). Из казаков Терского казачьего войска. Окончил церковно-приходскую школу. С 1922 года учился на рабфаке в Ростове-на-Дону. В 1925 году приехал в Москву, и начал учиться в Тимирязевской сельскохозяйственной академии, но через несколько месяцев, 5 ноября 1925 года, по комсомольскому набору был призван на флот. В Рабоче-Крестьянском Красном флоте с 1925 года. Образование получил в Военно-морском училище имени Фрунзе (окончил в мае 1928), на Специальных курсах комсостава (1931) и в Военно-морской академии имени К. Е. Ворошилова (1938). Член ВЛКСМ с 1920 года. В 1927 году принят в ВКП(б).

С мая 1928 года — вахтенный командир эсминца «Фрунзе» Морских Сил Чёрного моря. С ноября 1928 года — штурман канонерской лодки «Ленин». С ноября 1929 по май 1930 года — штурман группы канонерских лодок Каспийской флотилии. С мая 1931 года — дивизионный минер 3-го дивизиона эскадренных миноносцев на Балтийском флоте. С ноября 1931 года — преподаватель на специальных курсах командного состава РККФ. С марта 1932 года — флагманский минер бригады траления и заграждения Морских сил Дальнего Востока, с января 1933 — начальник штаба отряда торпедных катеров особого назначения, с декабря 1934 года — командир бригады торпедных катеров Тихоокеанского флота, с мая 1935 года — начальник штаба этой бригады.

В августе 1936 года поступил в Военно-морскую академию. Добровольцем вызвался для участия в Гражданской войны в Испании, где находился в должности советника командира военно-морской базы в порту Картахены. После возвращения в СССР продолжил учёбу в академии.

После её окончания с мая 1938 года — начальник штаба Северного флота, с июня 1938 года — командир дивизиона эсминцев Северного флота, с июля 1938 года — командующий Каспийской флотилией, с июля 1939 года — командующий Краснознамённой Амурской флотилией.

С июля 1940 по апрель 1946 года командовал Северным флотом. 17 июня 1941 под свою ответственность принял решение перевести флот в боевую готовность № 2 из-за участившихся разведвылетов немецкой авиации над базами флота. Бессменно командовал Северным флотом на протяжении всей Великой Отечественной войны. Под его руководством флот участвовал в обороне Мурманска и всего Советского Заполярья, в обеспечении проводки северных морских конвоев союзников и внутренних конвоев, в борьбе на коммуникациях германских войск у Северной Норвегии, в Петсамо-Киркенесской наступательной операции.

С апреля 1946 года — заместитель начальника, с февраля 1947 года — начальник Главного штаба ВМФ — заместитель Главнокомандующего Военно-Морским флотом СССР. С марта 1950 года — начальник Морского Генерального штаба и первый заместитель военно-морского министра.

С августа 1952 года — командующий 4-м военно-морским флотом на Балтийском море, с января 1956 года — командующий Балтийским флотом.

В ноябре 1956 года назначен первым заместителем Главнокомандующего ВМФ. В результате испытаний ядерного оружия на Новой Земле, согласно некоторым предположениям, заболел лучевой болезнью.

Депутат Верховного Совета РСФСР 3-го и 5-го созывов и Верховного Совета СССР 2-го созыва.

Умер 17 мая 1962 года. Похоронен в Москве на Новодевичьем кладбище (участок № 1).