Мобилизован в РККА с 02 июля 1941 года в инженерные войска.  Прошёл всю Великую Отечественную войну. Один из организаторов строительства оборонительных рубежей против немецких  захватчиков. Непосредственный руководитель работ по строительству 18 батарейных районов, сданных комиссии Генштаба с оценкой "хорошо".  Восстанавливал ж.д. станции, дороги, мосты, путепроводы, наводил понтонные переправы. Согласно наградному листу о предоставлении к ордену Великой Отечественной Войны 2 степени - восстанавливал станцию Барановичи и строил путепроводы, а также восстанавливал участок Барановичи-Новоельня, строил железнодорожный мост через р. Неман на линии Новоельня-Лица. Только с 23 июня по 15 июля 1944 г. под руководством Захарова Ивана Ивановича  было построено: 26  мостов общего назначения, 285 понтонных мостов, 46 км. железных дорог, а так же привел в дорожное состояние 190 км. грунтовых дорог. Строительство моста через р. Висла.