В 1938г. поступил в Ульяновское дважды Краснознамённое танковое училище имени В. И. Ленина.

В 1940г. после окончания училища был направлен в Белорусский военный округ.

В начале 1941г.- в Прибалтийский особый военный округ. Служил в составе 125 танкового полка 202 моторизованной дивизии. Базировался в районе Радвилишкис. Состоял из 4-х батальонов- три стрелковые, один танковый. На вооружении танки Т-26, большинство- старые. К средине июня на складах не имелось запчастей для ремонта танков.

18 июня полк выступил маршем в район Подуксте.

22 июня с 04-00 командование полка вело рекогносцировку в районе Кельие. В 12 часов офицер связи штаба дивизии сообщил о начале войны. Полк занял рубеж обороны. В 21-00 23 июня вступил в бой.

С 25 июня полк в составе дивизии начал отход. Отходил с боями в Псковскую, затем, в Новгородскую область.

11-12 июля, во время прорыва корпуса Манштейна, прикрывал Новгород.

В августе передан в состав 28 танковой дивизии (комдив полковник И.Д. Черняховский). Участвовал в наступлении на Новгород. В конце месяца полк переброшен под Демянск.

Во второй половине сентября 1941г. полк выведен в тыл для переформирования.

Весной 1942г. Иван Яковлевич направлен в Московский автобронетанковый центр (Серпухов), где формировалась 95 танковая бригада.

12 июля 1942г. бригада произвела погрузку в эшелоны на станции Воротынск и выбыла в район г.Белев.

С 12 июля 1942г. совершила несколько маршей по территории Сухиничского района. 

К 15 августа на марше в район станции Сухиничи.

19 августа бригада вступила в бой с противником в районе  д.Алешинка (Сухиничский р-н). Отбросив противника, перешла к обороне, организовала засады.

20 августа противник 9 раз бомбил позиции бригады.

21 августа с 12-00 вела бои с полком немецкой 19 танковой дивизии. К исходу дня заняла опушку леса южнее Алешкинка и закрепилась на новых позициях.

22 августа прямым попадание снаряда были убиты 6 офицеров 95 мотострелково-пулеметного батальона бригады, в их числе- командир батальона капитан Огурцов Николай Никонович.Из командиров рот в строю остался только один. Командование батальном было возложено на адъютанта старшего батальона старшего лейтенанта Варнавского Василия Афанасьевича. В помощь ему был направлен старший лейтенант Ермоленко.

28 августа батальон форсировал р.Жиздра и занял исходные позиции у д.Поляна. В районе д.Кутьково батальон попал под ураганный огонь противника.

29 августа батальон продолжил бои за д.Кутьково. В бою был тяжело ранен старший лейтенант Варнавский. Иван Яковлевич принял командование батальоном.

К 03 сентября в батальоне осталось 13 активных штыков. 

С 07 сентября 1942г. по 14 февраля 1943г. бригада находилась в районе Сухиничи и занималась боевой подготовкой.

10 сентября 1942г. Иван Яковлевич был представлен к ордену Красной Звезды, приказом от 01 октября 1942г. по 9 танковому корпусу награжден медалью «За боевые заслуги».

С 15 февраля 1943г. бригада совершала марши к новым местам сосредоточения.

К 12 марта батальон прибыл на станцию Пробуждение на погрузку в эшелон.

22 марта эшелон прибыл на станцию Касторное (Курская обл.). Батальон сосредоточился в районе с.Быково. И до июля 1943г. занимался боевой подготовкой.

К июлю 1943г. капитан Ермоленко- заместитель начальника штаба бригады по оперативной работе.

С 05 по 14 июля батальон в составе бригады несколькими маршами вышел в район Новая Слободка.

С 14 июля 1943г. бригада участвовала в Курской битве.

15 июля с 13-00 бригада перешла в наступление. У высоты 249,9 встретила упорное сопротивление противника. После нескольких безрезультатных атак, в 22-00 бригада отошла в район д.Федоровка.

16 июля бригада находилась в лесу у д.Новослободка, приводила в порядок материальную часть и вооружение.

Утром 17 июля перешла в наступление из района высоты 249,9 в направлении станции Малоархангельск. 

Совместными действиями с 95 танковой бригадой была занята д.Бузулук и выбит противник со станции Малоархангельск. В течение 4-х часов подразделения занимали оборону и отражали контратаки противника.

Приказом от 08 августа 1943г. капитан Ермоленко был награжден орденом Красной Звезды.

До 01 августа бригада занимались боевой подготовкой. 01 августа вступили в бой в районе Гостомль. 02 августа бригада вела бои за деревни Караваево и Подвилье. 03 августа бригада наступала на Бельдяжки- Кромы. 04 августа бригада переправилась через р.Крома, удерживала переправы в районе Глинки и Лешня. К 03-00 05 августа бригада овладела Глинки и южной окраиной Лешня.

С 05 по 15 августа бригада выведена в резерв, восстанавливала матчасть и вооружение, приводила в порядок личный состав, принимала пополнение.

С 16 по 19 августа бригада на марше в район западнее г.Дмитриев-Льговский.

До 26 августа продолжалась боевая подготовка подразделений. С 27 августа бригада введена в прорыв, к исходу дня закрепилась в 500м. западнее д.Двадцатные (Севский р-н). 28 августа с 13-00 бригада продолжила наступление. 29 августа был освобожден первый райцентр Украины- Эсмань. 30 августа- г.Глухов. 01 сентября - г.Кроловец. До 06 сентября бригада занимала круговую оборону у г.Кролевец. С наступлением темноты бригада выступила маршем в направлении г.Конотоп.

09 сентября Иван Яковлевич был легко ранен.

Во второй половине октября- начале ноября 1943г. бригада участвовала в боях по расширению плацдарма на западном берегу р.Днепр на территории Лоевского районе Белоруссии.

С ноября 1943г по июнь 1944г. бригада находилась в лагерях в районе д.Будище (Черниговская обл, Украина). С 11 июня совершила марш в Белоруссию, на восточный берег р.Друть севернее г.Жлобин, откуда бригада должна была вступить в бой.

До 23 июня продолжалось изучение переднего края противника, велась подготовка по вводу бригады в  прорыв с задачей- отрезать пути отхода Жлобинской группировки врага на Бобруйск.

26 июня бригада в составе 9 танкового корпуса за 10 часов, совершив 50ти километровый марш, с боем овладела единственной и основной коммуникацией противника на р.Березина, узлом четырех шоссейных дорог- Титовка и, держа под огнем железную дорогу и два шоссейных моста через р.Березина, не допуская противника со стороны Бобруйска, закончила оперативное окружение Рогачевско-Жлобинской группировки в составе пяти дивизий (134, 269, 6, 383, 45).

27 и 28 июня бригада отбивала многочисленные атаки противника, пытавшегося вырваться из окружения. Выполнив задачу, бригада форсировала Березину и наступала на Минск.

Майор Ермоленко был представлен к ордену Отечественной войны I степени, приказом от 20 июля 1944г. награжден орденом Отечественной войны II степени.

Принят в ряды ВКП(б). Партбилет №6764871.

В июле бригада прошла с освободительными боями через Белоруссию, 01 августа пересекла государственную границу СССР с Польшей. С 8 августа в резерве, вначале на территории Польши, затем Украины. В конце декабря совершила марш на территорию Польши, к 7 января 1945г. вышла на Пулавский плацдарм.

14 января началось наступление наших войск на западном берегу р.Висла. 

15 января майор Ермоленко занял место выбывшего из строя начальника штаба бригады. 

30 января бригада вышла к р.Одер в районе Цюллихау. Совершив 350км марш к 12 февраля сосредоточиласьв районе Швахенвальде для усиления правого фланга 1-го Белорусского фронта. 10 дней бригада отбивала контратаки частей Восточно-Померанской группировки противника.

Приказом от 07 марта1945 майор Ермоленко награжден орденом Красного знамени.

09 марта получил контузию и легкое ранение на подступах к Альтдам (Домбе, Польша). После излечения назначен шачальником штаба 8 мотострелковой Бобруйской Краснознаменной бригады (также входила в состав 9 танкового корпуса).

С 14 апреля 1945г. бригада участвовала в Берлинской операции.

20 апреля, продвигаясь в направлении северо-восточной окраины Берлина, оперативная группа штаба бригады наткнулась на группу немецких солдат до 250 человек. Развернув имеющиеся поблизости средства майор Ермоленко сумел уничтожить группу, захватитв в плен 45 солдат и офицеров. При незначительных потерях личного состава. 

Приказом от 30 мая 1945г. был награжден вторым орденом Красного Знамени.

Иван Яковлевич награжден медалями «За освобождение Варшавы», «За взятие Берлина», «За победу над Германией в ВОВ 1941-1945гг.»

В апреле 1946г. гвардии подполковник Ермоленко был награжден бронзовой медялью “Заслуженным на поле брани” (Польская Народная Республика).

За долголетнюю и безупречную службу в 1949г. награжден медалью «За боевые заслуги».

Гвардии подполковник Ермоленко был уволен в запас 07 января 1956г.

В честь 40-летия Победы награжден орденом Отечественной войны I степени.