Первоначально — 2-я от Невы реки линия (1716—1780 годы, от Литейного проспекта за Потёмкинскую улицу).
1781—1793 годы — 2-я от Невы реки улица.
1724—1791 годы — 1-я Артиллерийская линия.
Середина XVIII века — 1-я улица Артиллерийской слободы.
1776—1793 годы — 1-я Артиллерийская улица.
1792 год — 1-я улица.
С середины XVIII века по 1808 год — Артиллерийская улица.
В 1716 году «1-я, 2-я и 3-я линия, которые выше Литейного двора» были отведены по указу служащим в артиллерийском ведомстве. В 1724 году последовало распоряжение всем обустроившимся там разночинцам «строение своё с тех мест снесть и те места очистить в артиллерных линиях под селитьбу артиллерным служащим подлым». Однако к этому времени в первой линии уже было каменное строение, и было решено «чтоб вместо первой от реки Невы линии, отдана была под селение Артиллерийским служителям четвёртая линия». Произошло смещение нумерации линий от реки Невы и линий в Артиллерийской слободе. Позже под дома служителей артиллерийского ведомства была отдана и пятая линия от реки Невы.
1737—1782 годы — Пушкарская улица. Название дано по Пушкарской слободе.
1753 год — 2-я Береговая улица, фактически название не применялось.
Современное название известно с 1789 года. Дано по имени церкви Захария и Елизаветы Кавалергардского полка, стоявшей на месте дома № 20. Церковь была построена в 1756 году, в 1899 году перестроена по проекту Леонтия Бенуа, а в 1948 году здание церкви было снесено.
6 октября 1923 года — 4 октября 1991 года — улица Каляева. Названа в честь И. П. Каляева.
4 октября 1991 года Захарьевской улице было возвращено историческое название.
Примечательные здания и сооружения
№ 7 — дом Е. Н. Чихачева, 1843, 1908, арх. А. И. Низовцев. 7831896000
№ 9, литера А — доходный дом акционерного общества «Строитель», 1830, перестроен в 1909-м по проекту инженера-архитектора С. Г. Гингера. С 2022 года здание имеет статус объекта культурного наследия[1]. 7831895000
№ 14 / Шпалерная ул., 33 / пр. Чернышевского, 5 — комплекс зданий Конторского двора Гоф-интендантской конторы, конец XVIII — начало XIX века. 7831901000
№ 16 / пр. Чернышевского, 8 — доходный дом Н. М. Мельговской, 1910—1911, арх-р С. А. Баранкеев. 7831900000
Горбачевич К. С., Хабло Е. П. Почему так названы?: О происхождении названий улиц, площадей, островов, рек и мостов Ленинграда. — 3-е изд., испр. и доп. — Л.: Лениздат, 1985. — С. 147. — 511 с.
Горбачевич К. С., Хабло Е. П. Почему так названы?: О происхождении названий улиц, площадей, островов, рек и мостов Санкт-Петербурга. — 4-е изд., перераб. — СПб.: Норинт, 1996. — С. 89. — 359 с. — ISBN 5-7711-0002-1.
Захарьевская ул. // Городские имена сегодня и вчера: Петербургская топонимика / сост. С. В. Алексеева, А. Г. Владимирович, А. Д. Ерофеев и др. — 2-е изд., перераб. и доп. — СПб.: Лик, 1997. — С. 48. — 288 с. — (Три века Северной Пальмиры). — ISBN 5-86038-023-2.
Топонимическая энциклопедия Санкт-Петербурга. — СПб.: Информационно-издательское агентство ЛИК, 2002. — 808 с. — ISBN 5-86038-094-1.