В 1933г. окончил 7 классов школы с.Ивановка (Приморский край).

В 1936г. окончил 2-й курс Владивостокского индустриального техникума.

С ноября 1936г. обучался на курсах радиооператоров при Владивостокском радиоцентре.

С марта 1937г. работал радиотелеграфистом радиостанции Наркомата связи Приморского края.

С июля 1938г. курсант Ульяновского бронетанкового училища.

В феврале 1940г., после окончания училища, назначен командиром взвода 22 отдельной танковой бригады (Белорусский особый военный округ). 

В июле 1940г. назначен командиром взвода 46 танкового полка 84 механизированной дивизии Прибалтийского военного округа.

В июне 1941г.- адъютант старший батальона 125 танкового полка 241 стрелковой дивизии. 

Полк дислоцировался в районе Радвилишкис. Состоял из 4-х батальонов- три стрелковые, один танковый. На вооружении танки Т-26, большинство- старые. К средине июня на складах не имелось запчастей для ремонта танков.

18 июня полк выступил маршем в район Подуксте.

22 июня с 04-00 командование полка вело рекогносцировку в районе Кельие. В 12 часов офицер связи штаба дивизии сообщил о начале войны. Полк занял рубеж обороны. В 21-00 23 июня вступил в бой.

С 25 июня полк в составе дивизии начал отход. Отходил с боями в Псковскую, затем, в Новгородскую область.

11-12 июля, во время прорыва корпуса Манштейна, прикрывал Новгород.

В августе передан в состав 28 танковой дивизии (комдив полковник И.Д. Черняховский). Участвовал в наступлении на Новгород. В конце месяца полк переброшен под Демянск.

Во второй половине сентября 1941г. полк выведен в тыл для переформирования.

В феврале 1942г. направлен в Московский автобронетанковый центр (Серпухов), где формировалась 95 танковая бригада.

Иван Яковлевич был назначен офицером связи штаба бригады.

12 июля 1942г. бригада произвела погрузку в эшелоны на станции Воротынск и выбыла в район г.Белев.

С 12 июля 1942г. совершила несколько маршей по территории Сухиничского района. 

К 15 августа на марше в район станции Сухиничи.

19 августа бригада вступила в бой с противником в районе  д.Алешинка (Сухиничский р-н). Отбросив противника, перешла к обороне, организовала засады.

20 августа противник 9 раз бомбил позиции бригады.

21 августа с 12-00 вела бои с полком немецкой 19 танковой дивизии. К исходу дня заняла опушку леса южнее Алешинка и закрепилась на новых позициях.

22 августа прямым попадание снаряда были убиты 6 офицеров 95 мотострелково-пулеметного батальона бригады, в их числе- командир батальона капитан Огурцов Николай Никонович. Старший лейтенант Ермоленко был направлен в батальон и принял командование.

28 августа батальон форсировал р.Жиздра и занял исходные позиции у д.Поляна. В районе д.Кутьково батальон попал под ураганный огонь противника.

29 августа батальон продолжил бои за д.Кутьково. 

С 07 сентября 1942г. по 14 февраля 1943г. бригада находилась в районе Сухиничи и занималась боевой подготовкой.

10 сентября 1942г. Иван Яковлевич был представлен к к ордену Красной Звезды, приказом от 01 октября 1942г. по 9 танковому корпусу награжден медалью «За боевые заслуги».

С 15 февраля 1943г. бригада совершала марши к новым местам сосредоточения.

К 12 марта батальон прибыл на станцию Пробуждение на погрузку в эшелон.

22 марта эшелон прибыл на станцию Касторное (Курская обл.). Батальон сосредоточился в районе с.Быково. И до июля 1943г. занимался боевой подготовкой.

К июлю 1943г. капитан Ермоленко- заместитель начальника штаба бригады по оперативной работе.

С 05 по 14 июля батальон в составе бригады несколькими маршами вышел в район Новая Слободка.

С 14 июля 1943г. бригада участвовала в Курской битве.

15 июля с 13-00 бригада перешла в наступление. У высоты 249,9 встретила упорное сопротивление противника. После нескольких безрезультатных атак, в 22-00 бригада отошла в район д.Федоровка.

16 июля бригада находилась в лесу у д.Новослободка, приводила в порядок материальную часть и вооружение.

Утром 17 июля перешла в наступление из района высоты 249,9 в направлении станции Малоархангельск. 

Совместными действиями с 95 танковой бригадой была занята д.Бузулук и выбит противник со станции Малоархангельск. В течение 4-х часов подразделения занимали оборону и отражали контратаки противника.

Приказом от 08 августа 1943г. капитан Ермоленко был награжден орденом Красной Звезды.

До 01 августа бригада занимались боевой подготовкой. 01 августа вступили в бой в районе Гостомль. 02 августа бригада вела бои за деревни Караваево и Подвилье. 03 августа бригада наступала на Бельдяжки- Кромы. 04 августа бригада переправилась через р.Крома, удерживала переправы в районе Глинки и Лешня. К 03-00 05 августа бригада овладела Глинки и южной окраиной Лешня.

С 05 по 15 августа бригада выведена в резерв, восстанавливала матчасть и вооружение, приводила в порядок личный состав, принимала пополнение.

С 16 по 19 августа бригада на марше в район западнее г.Дмитриев-Льговский.

До 26 августа продолжалась боевая подготовка подразделений. С 27 августа бригада введена в прорыв, к исходу дня закрепилась в 500м. западнее д.Двадцатные (Севский р-н). 28 августа с 13-00 бригада продолжила наступление. 29 августа был освобожден первый райцентр Украины- Эсмань. 30 августа- г.Глухов. 01 сентября - г.Кроловец. До 06 сентября бригада занимала круговую оборону у г.Кролевец. С наступлением темноты бригада выступила маршем в направлении г.Конотоп.

09 сентября Иван Яковлевич был легко ранен.

До января 1944г. находился на излечении в эвакуационном госпитале ЭГ 3450 (г.Курск).

Вернувшись в бригаду, назначен заместителем начальника штаба по оперативной работе.

С ноября 1943г по июнь 1944г. бригада находилась в лагерях в районе д.Будище (Черниговская обл, Украина). С 11 июня совершила марш в Белоруссию, на восточный берег р.Друть севернее г.Жлобин, откуда бригада должна была вступить в бой.

До 23 июня продолжалось изучение переднего края противника, велась подготовка по вводу бригады в  прорыв с задачей- отрезать пути отхода Жлобинской группировки врага на Бобруйск.

26 июня бригада в составе 9 танкового корпуса за 10 часов, совершив 50ти километровый марш, с боем овладела единственной и основной коммуникацией противника на р.Березина, узлом четырех шоссейных дорог- Титовка и, держа под огнем железную дорогу и два шоссейных моста через р.Березина, не допуская противника со стороны Бобруйска, закончила оперативное окружение Рогачевско-Жлобинской группировки в составе пяти дивизий (134, 269, 6, 383, 45).

27 и 28 июня бригада отбивала многочисленные атаки противника, пытавшегося вырваться из окружения. Выполнив задачу, бригада форсировала Березину и наступала на Минск.

Майор Ермоленко был представлен к ордену Отечественной войны I степени, приказом от 20 июля 1944г. награжден орденом Отечественной войны II степени.

В июле бригада прошла с освободительными боями через Белоруссию, 01 августа пересекла государственную границу СССР с Польшей. С 8 августа в резерве, вначале на территории Польши, затем Украины. В конце декабря совершила марш на территорию Польши, к 7 января 1945г. вышла на Пулавский плацдарм.

14 января началось наступление наших войск на западном берегу р.Висла. 15 января майор Ермоленко занял место выбывшего из строя начальника штаба бригады. 30 января вышла к р.Одер в районе Цюллихау. Совершив 350км марш к 12 февраля сосредоточилась в районе Швахенвальде для усиления правого фланга 1-го Белорусского фронта. 10 дней бригада отбивала контратаки частей Восточно-Померанской группировки противника.

Приказом от 07 марта 1945 майор Ермоленко награжден орденом Красного Знамени.

В феврале 1945г. назначен начальником штаба 8 мотострелковой Бобруйской Краснознаменной бригады (также входила в состав 9 танкового корпуса).

09 марта получил контузию и легкое ранение на подступах к Альтдам (Домбе, Польша). 

С 14 апреля 1945г. бригада участвовала в Берлинской операции.

20 апреля, продвигаясь в направлении северо-восточной окраины Берлина, оперативная группа штаба бригады наткнулась на группу немецких солдат до 250 человек. Развернув имеющиеся поблизости средства майор Ермоленко сумел уничтожить группу, захватив в плен 45 солдат и офицеров. При незначительных потерях личного состава. 

Приказом от 30 мая 1945г. был награжден вторым орденом Красного Знамени.

Иван Яковлевич награжден медалями «За освобождение Варшавы», «За взятие Берлина», «За победу над Германией в ВОВ 1941-1945гг.».

В феврале 1947г. назначен начальником штаба 26 танкового полка 19 гвардейской механизированной дивизии (группа Советских оккупационных войск в Германии).

Награжден медалью «30 лет Советской армии и флота».

С декабря 1948г. слушатель Высшей офицерской бронетанковой школы им.Молотова (Ленинградский военный округ).

В октябре 1949г. назначен начальником штаба 96 гвардейского танко-самоходного полка 51 гвардейской стрелковой дивизии (Прибалтийский военный округ).

В декабре 1952г- начальником штаба 17 гвардейского танко-самоходного полка 57 гвардейской стрелковой дивизии (группа Советских оккупационных войск в Германии).

За долголетнюю и безупречную службу в 1949г. награжден медалью «За боевые заслуги», в 1954г.- орденом Красной Звезды, в 1985г.- Отечественной войны I ст.

Гвардии подполковник Ермоленко был уволен в запас 07 января 1956г.

В честь 40-летия Победы награжден орденом Отечественной войны I степени.