В Красную Армию был призван в 1939 году с Харовского РВК Вологодской области.
Участник боевых действий в Великой Отечественной войне в звании гв. сержант башни танка Т-34 581 Танкового батальона 15 Гвардейской танковой бригады 1 Гвардейского Донского Танкового корпуса. В 1941 году воевал на Южном фронте, в 1942 году – на Воронежском фронте, в 1943 году - на Белорусском фронте. Был ранен в ноябре 1943 года. Награжден медалями «За отвагу» и «За победу над Германией в Великой Отечественной войне 1941-1945 гг.» Из Наградного листа на Громова А.А.: «Гв. сержант Громов Анатолий Афанасьевич в боях за социалистическую Родину проявил храбрость и отвагу. Действуя в составе экипажа уничтожил 1 тяжелую пушку, 1 танк и до 30 гитлеровцев. Достоен правительственной награды-медаль «За отвагу»».