Призван в Красную армию 29.06.1941 по партийной мобилизации. Зачислен в 574 стрелковый полк 121 стрелковой дивизии политруком 4-й роты, затем и.о. командира роты. Участвовал в боях. Лично три раза водил роту в атаку. 

7 августа 1941 года, во время ожесточенного сражения был легко ранен, но с поля боя не ушёл, а продолжал сражаться, пока его снова не ранило осколком мины, на этот раз тяжело, ему раздробило левую руку. В полевом госпитале руку пришлось ампутировать. После ампутации он был отправлен в Чкаловский эвакогоспиталь и после излечения был уволен из рядов Красной Армии со снятием с воинского учета.

 За героизм и отвагу, проявленные в боях, Иван Захарович Панов награждён орденом Красной звезды и медалью «За победу над Германией в Великой Отечественной войне 1941–1945 гг.»

После выздоровления продолжал трудиться в тылу, в  г.Чкалов (Оренбург), секретарём Дзержинского РК ВКП(б). За умелое руководство легкой промышленностью Дзержинского района города Чкалов (Оренбург) в яваре 1944 года был награжден орденом «Знак Почета»