Свой военный путь Яков Васильевич начал в 1942 году в семнадцать лет пойдя на войну добровольцем.

В 1943 году в боях в Восточной Пруссии под Карагау совершил  военный подвиг и получил боевую награду – медаль «За отвагу». Этой медалью награждали исключительно за личную храбрость, мужество и отвагу, которая была проявлена во время боевых действий при защите Отечества. Большая часть медалей «За отвагу» была выдана рядовому и сержантскому составу Красной Армии, однако встречались и случаи награждения ею офицеров. 

Яков Васильевич лично из своего автомата уничтожил трех немецких солдат. В этих боях он был тяжело ранен и контужен.

Сержанин Яков Васильевич кавалер медали «За отвагу», воевал во втором Белорусском фронте, дошел до Восточной Пруссии. После Дня Победы он продолжил фронтовой путь в Манчжурии.

Яков Васильевич проходил военную службу пулеметчиком 24 строевого полка с января 1943 года по 1944 год. С апреля 1945 года Сержанина Якова Васильевича назначают командиром отделения 52 строевого полка по май 1950 года.

В 1944 году Яков Васильевич совершая военный подвиг, был тяжело ранен и дважды контужен, в боях под Оршей. Смело и самоотверженно он установил свой пулемет во фланг немецкой пушки, уничтожил её прислугу в количестве 4-х фашистских солдат и тем самым содействовал продвижению наступающей пехоты. Был награжден Орденом Отечественной войны I степени.

В составе 243 стрелкового полка 11 Армии форсировал Березину и Неман, участвовал в освобождении Молодечно и взятии Кенигсберга.

В подготовительном периоде по разгрому японских агрессоров  Яков Васильевич проделал большую работу в деле боевой выучки сержантского состава. В период совершения трудного марша по безводной Монголии и переходе через Хни-Ганский хребет он показал себя дисциплинированным выносливым командиром, который личным примером воодушевлял курсантов на преодоление трудностей.

Участник войны с Японией с 9 августа 1945 года.