Свое название улица Знаменка получила еще в XVI веке. Как и оба Знаменских переулка, ответвляющихся по обе стороны от этой улицы, Знаменка названа в соответствии со стоявшей на ней церковью Знамения Пресвятой Богородицы. Об этом гласит висящая на углу Знаменки и Гоголевского проспекта мемориальная табличка.

Происхождению этого названия способствовали происходящие в 1170 году события. Дело в том, что когда при осаде Новгорода новгородский архиепископ вынес на крепостную стену икону Божьей Матери, по легенде, в нее ударилась стрела, и на Богородичном лике появились слезы. В тот же момент гнев небесный покарал наступавших. Посчитав это предзнаменованием и божьим чудом, одержав решающую победу над неприятелем, новгородцы установили с той поры праздник Знамения Пресвятой Богородицы, а построенную на дороге по направлению Новгородской земли церковь, в которой хранилась икона Божьей Матери «Знамение», также назвали ее именем. Церковь простояла здесь до 1931 года, пока не была разрушена.

В те революционные года — с 1918 по 1925 — улица Знаменка называлась Краснознаменной в соответствии с атмосферой борьбы за справедливость, царящей в Москве тех времен. В советские времена с 1925 по 1994 годы Знаменка именовалась улицей Фрунзе, в честь видного советского военачальника, председателя РВС СССР и героя гражданской войны Михаила Васильевича Фрунзе (1885-1925 гг.). И неспроста: еще на дореволюционной Знаменке располагалось Александровское юнкерское училище (в октябре 1917-го — оплот контрреволюции), в здании которого после его перестройки поселилось Министерство обороны СССР. Военные «живут» на Знаменке и в ее окрестностях по сей день, соседствуя с галереей Шилова.