Иван Прохоров родился 27 апреля 1901 года в деревне Коверино Тульской губернии в крестьянской семье. Окончил четырёхклассную сельскую школу. В 1919 году по призыву Прохоров пошёл в Рабоче-Крестьянскую Красную Армию. В составе 3-го Украинского полка в 1919—1920 годах он участвовал в Гражданской войне. В 1920 году Прохоров окончил артиллерийские курсы в Саратове, затем ещё одни курсы в Баку. В течение года командовал артиллерийской батареей, после чего окончил высшую артиллерийскую школу комсостава в Петрограде. До 1931 года он командовал различнымиартиллерийскими подразделениями. В 1931—1936 годах был слушателем Военной артиллерийской академии имени Дзержинского. После её окончания в 1936—1938 годах Прохоров командовал артиллерийским полком в Ленинградском военном округе, затем в 1938—1940 годах командовал артиллерией дивизии. В 1940—1941 годах Прохоров командовал артиллерией корпуса. 4 июня 1940 года ему было присвоено звание генерал-майора.

В 1941 году Прохоров был назначен командующим артиллерией 20-й армии Орловского военного округа. В активных боевых действиях во время Великой Отечественной войны армия принимала участие со 2 июля 1941 года. Прохоров в составе этой армии участвовал в оборонительных боях в Белоруссии, Смоленском сражении и в Вяземской оборонительной операции. Во время последней армия попала в окружение. При попытке прорваться из окружения Прохоров попал в немецкий плен. Он был вывезен в Германию, где в течение войны содержался в ряде лагерей для военнопленных. 29 апреля 1945 года Прохоров был освобождён английскими войсками. Через советскую военную миссию по репатриации в Париже Прохоров вернулся в СССР. После проверки в органах НКВД он был восстановлен в кадрах Советской Армии. В 1947 году Прохоров окончил Высшие академические курсы при Военной академии Генерального штаба, после чего остался в ней старшим преподавателем кафедры ракетных войск и артиллерии. 25 ноября 1953 года вышел в отставку по болезни.

Умер 3 июня 1961 года в Москве. Награждён орденом Ленина, двумя орденами Красного Знамени, орденом Красной Звезды