В 1936 году Пепеляев был призван на службу в Рабоче-крестьянскую Красную Армию. В 1939 году он окончил курсы младших лейтенантов. Участвовал в боях на Халхин-Голе. С октября 1941 года — на фронтах Великой Отечественной войны. К апрелю 1945 года гвардии капитан Николай Пепеляев командовал батареей 57-миллиметровых орудий 2-го мотострелкового батальона 17-й гвардейской механизированной бригады 6-го гвардейского механизированного корпуса 4-й гвардейской танковой армии 1-го Украинского фронта. Отличился во время Берлинской операции. 19 апреля 1945 года батарея Пепеляева во время боя за населённый пункт Шпреталль уничтожила три вражеских танка. 22 апреля батарея уничтожила ещё 6 танка, 8 самоходных орудий, 9 артиллерийских орудий, 38 автомашин и более 100 солдат и офицеров противника. В тех боях Пепеляев лично захватил в плен 11 вражеских солдат и офицеров. 27 апреля 1945 года во время боёв за переправу через канал в районе Потсдама батарея Пепеляева уничтожила 2 вражеских катера, заставив экипажи остальных судов сдаться в плен. 28 апреля 1945 года батарея успешно штурмовала Потсдам, уничтожив 2 танка, 1 дзот и 4 огневые точки