Воинская служба началась в августе 1941 года на тихоокеанском флоте. В этом же году воевал под Сталинградом в артиллерийских войсках. Принимал участие в пленении фельдмаршала Паулюса. За битву под Сталинградом был награжден орденом Красной звезды, медалью "За отвагу". Затем воевал на Курской дуге. В 1943 году Андрею Ивановичу присвоили звание сержанта. После ранения был назначен командиром сабельного отряда 54 гвардейского кавалерийского полка под командованием маршала Рокосовского.

Принимал участие в форсировании рек Буг, Вислы,Одера, участвовал в боях под Варшавой, Берлином. За мужество, храбрость и находчивость был награждён орденами Отечественной войны 1й степени, Красной звезды, тремя медалями "За отвагу","За оборону Сталинграда", "За освобождение Варшавы", "За взятие Берлина. Не раз был ранен. После окончания войны продолжил службу в пограничных войсках на границе с Афганистаном. Был демобилизован из армии в 1946 году.