Родился 20 мая 1921 года в селе Семёново Уренского района Нижегородской области. Окончил семилетнюю школу. Работал в колхозе, затем пекарем Уренского леспродторга.

В начале июня 1941 года был призван в Красную Армию и направлен в Ленинградское военно-инженерное училище. Курсантом встретил начало Великой Отечественной войны, в августе в составе училища эвакуирован в город Кострому. В конце декабря 1941 году досрочно окончил обучение и был направлен на фронт.

Участвовал в боях под Москвой. Затем на Ленинградском фронте — прорыв блокады, бои на Карельском перешейке, штурм Выборга. Член ВКП(б)/КПСС с 1944 года. Особо отличился офицер-сапёр в боях за освобождение Польши зимой 1945 года.

15 января 1945 года рота 83-го штурмового инженерно-сапёрного батальона под командованием лейтенанта Смирнова, действуя в полосе наступления стрелковой дивизии, проделала проходы в заграждениях противника. Ведя бой совместно с полковой разведкой, рота вышла к мосту через реку Пилица в районе населённого пункта Буда-Михайлувска. В коротком бою захватили мост и небольшой плацдарм на левом берегу реки. Сапёры обезвредили 60 авиабомб и 50 противотанковых мин, подложенных под мост, и спасли его от взрыва. Рота при этом имела незначительные потери.

Указом Президиума Верховного Совета СССР от 27 февраля 1945 года за образцовое выполнение боевых заданий командования и проявленные при этом мужество и героизм лейтенанту Смирнову Александру Яковлевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».

После Победы продолжал службу в армии. С разгромом врага война для Смирнова не кончилась, в ходе разминирования сапёрами Смирнова были обезврежены тысячи мин, неразорвавшихся бомб и снарядов. В 1945 году окончил Высшую инженерную офицерскую школу. С 1954 года капитан Смирнов — в запасе.

Жил в городе Загорск Московской области Работал слесарем на электромеханическом заводе. Скончался 21 января 1975 года. Похоронен на Старом кладбище в Сергиевом Посаде.