Сформирован 11 июля 1813 года из остатков запасных и резервных батальонов, в составе трёх батальонов, под названием 54-го егерского полка и 30 августа 1815 года наименован 21-м егерским.
28 января 1833 г. 21-й егерский полк был присоединён к Елецкому пехотному полку и составил в нём 3, 4 и 6-й резервные батальоны.
6 апреля 1863 г. из 4-го резервного батальона и бессрочно-отпускных был сформирован двухбатальонный Елецкий резервный пехотный полк, который 13 августа 1863 г. был назван Пензенским пехотным полком и приведён в состав трёх батальонов с тремя стрелковыми ротами.
25 марта 1864 г. Пензенский полк получил № 121. 17 апреля 1877 г. военный министр генерал-адъютант Д. А. Милютин был назначен шефом полка.
Приняв в 1877—1878 гг. участие в войне с Турцией, пензенцы отличились при взятии Никополя, а затем были двинуты к Плевне и участвовали в неудачной атаке её 18 июля (второй штурм Плевны), во время которой, атакуя Гривицкий редут, потеряли 27 офицеров и 953 нижних чинов. В 1879 году павшим 18 июля 1877 года пензенским солдатам и офицерам был сооружён и торжественно освящён памятник близ села Гривица под Плевной[1][2].
Затем полк принял участие в штурме Плевны 30 августа (третий штурм Плевны) и со 2 сентября по 28 ноября занимал бессменно Гривицкий редут.
После падения Плевны Пензенский полк был назначен в состав Западного отряда генерала Гурко и за отличие в бою 20 декабря при Горном Бугарове 2-й и 3-й батальоны получили Георгиевские знамёна, а 1-й батальон — Георгиевские трубы. После заключения мира Пензенский полк участвовал в усмирении восстания в Родопских горах.
В 1879 году в полку был сформирован 4-й батальон.
22 сентября 1898 г. полку присвоено название 121-го пехотного Пензенского генерал-фельдмаршала графа Милютина полка.
4 мая 1904 г. отправлявшемуся на войну полку произвёл смотр в Харькове император Николай II.
Во время русско-японской войны Пензенский полк участвовал в сражениях под Юшулином, при Кангуалине, Ляояном и на реке Шахэ, потеряв при атаке Лесной сопки 10 офицеров и 594 нижних чинов, а во время Мукденского сражения полк, находясь в составе 2-й армии, был двинут 23 февраля 1905 г. в деревню Мадяпу на смену 33-го пехотного Елецкого полка и в течение двух дней выдерживал стремительный натиск японцев. При отступлении армии к Телину 2, 3 и 4-й батальоны Пензенского полка были окружены японцами у Императорской рощи и деревни Сахэдзы и, понеся громадные потери (22 офицера и 1359 нижних чинов), штыками пробились на юг. За доблестное участие в войне с Японией Пензенскому полку был пожалован «поход за военное отличие».
По смерти шефа полка, Милютина, полку сохранено его имя. 11 июля 1913 г., в день 100-летнего юбилея, полку пожаловано новое Георгиевское знамя с дополнительной надписью «1813—1913» и с Александровской юбилейной лентой.
Во время первой мировой войны Пензенский полк принимает активное участие в боевых действиях в составе 10-го армейского корпуса.
…19 декабря [1914] у Люжно пензенцы взяли 1800 пленных и 11 пулемётов, потеряв своего командира полка полковника Евсюкова.
…29 сентября [1917] в Х армейском корпусе 31-я пехотная дивизия генерала Волховского рванула 17-й австро-венгерский корпус коротким и блестящим ударом у Вашкоуц. Трофеями славного дела при Вашкоуцах были 12 офицеров, 800 нижних чинов пленными, 18 орудий (4 тяжёлых), 2 миномёта, 1 бомбомёт и 10 пулемётов. Всё взято 121-м пехотным Пензенским полком. Храбрый его командир полковник Мансурадзе был убит. Штыками пензенцев была начертана последняя строка в более чем двухвековой летописи.
Старая армия Петра Великого в последний раз глубоко вздохнула и сама закрыла свои глаза…
14 октября 1919 на базе офицерских кадров 121-го пехотного Пензенского и 122-го пехотного Тамбовского полков Императорской армии сформирован 1-й Сводный полк 31-й пехотной дивизии ВСЮР.
Знаки отличия полка
Полковое Георгиевское знамя с надписью «За Севастополь в 1854 и 1855 годах и Горное Бугарово 20 декабря 1877 года» и «1813—1913» с Александровской юбилейной лентой
Знаки отличия на головные уборы с надписью «За Варшаву 25 и 26 августа 1831 года»
Серебряные Георгиевские трубы с надписью «3а Горное Бугарово 20 декабря 1877 года»
«Поход за военное отличие» за войну с Японией 1904—1905 гг.
Памятник павшим пензенцам был сооружён и торжественно освящён в 1879 году[1].
На памятнике выбита надпись:
Братская могила офицеров и нижних чинов 121-го пехотного Пензенского генерал-адъютанта графа Милютина полка, павших 18 июля 1877 года
Другие формирования этого имени
Пензенский мушкетёрский полк — сформирован 29 августа 1805 года, 19 октября 1810 года переформирован в 45-й егерский полк.
Старый Пензенский пехотный полк — сформирован 17 января 1811 года, расформирован 28 января 1833 года и его батальоны были присоединены к Олонецкому пехотному полку. Полк известен тем, что значительное число его офицеров принимали участие в движении декабристов.
Пензенский конный полк народного ополчения — сформирован в 1812 году для отражения нашествия Наполеона, расформирован в 1814 году.
Пензенский внутренний губернский батальон — сформирован 17 января 1811 года; после нескольких переименований и преобразований поступил 1 декабря 1892 года на формирование 185-го пехотного резервного Лидского полка, названного 1 января 1898 г. 172-м пехотным Лидским полком.