Окончил 7 классов. Вступил в ряды ВЛКСМ, а в 1938 году был призван в ряды Советской Армии. Не дослужив положенного срока, его часть была  отправлена  на фронт. На войне  Анатолий  Яковлевич был разведчиком в группе захвата. Командиром разведгруппы  был  Волошин. Анатолий Яковлевич воевал на  Карельском фронте, был 500 дней в  Ленинградской блокаде. После окончания  блокады лежал в госпитале. Он не получил ни одного ранения, но дважды был контужен.  За боевые заслуги в годы Великой Отечественной войны Анатолий Яковлевич Филимонов был награжден орденами: «Красная звезда»  «Славы III степени», "медалями «За отвагу" и  "За боевые  заслуги». Запомнился фронтовику случай, произошедший во время разведывательной операции, когда нужно было доставить в штаб «языка».  В основном, на карельском фронте были не немцы, а финны. Все шло благополучно, но на обратном пути они были обнаружены, завязался бой. Их группу обстреливали из минометов и автоматов, трое было ранено, а двое убиты. Но со своей задачей группа разведчиков справилась.  «Язык» был доставлен в штаб фронта.