В середине ХУШ века владение с домом принадлежало Симонову – купцу первой гильдии. Позднее надворный советник Д. Нарышкин надстроил третий этаж. С 1787 года хозяевами усадьбы стали Дмитриевы-Мамоновы, сначала сенатор Матвей Васильевич, затем его сын Александр (фаворит Екатерины П) и внук граф Матвей Александрович. Дом претерпел ряд переделок. Граф принимал участие в войне 1812 года (интересно, что в дни оккупации Москвы здесь жил принц Евгений Богарне, пасынок Наполеона). Здание, в духе раннего классицизма, не пострадало от пожара, но дальнейшая жизнь графа оказалась несчастливой. Он основал кружок «Орден русских рыцарей», не присягал Николаю 1, после чего был объявлен сумасшедшим. Его опекуны продали дом, с тех пор в нем размещается Глазная больница. В 1941 году здание весом в 13 300 тонн было развернуто на 90 градусов, перемещено на другое место по Мамоновскому переулку и поставлено на новый фундамент с первым этажом. Таким образом он приобрело современный вид, став четырехэтажным. Существует легенда, что дух графа в белых одеждах регулярно является в его бывший дом. Объект культурного наследия федерального значения.