Участком дома № 23 по Большой Морской улице в 1740х годах владел генерал Артемий Григорьевич Загряжский. Он является прапрадедом Натальи Николаевны Гончаровой — жены А.С. Пушкина. В 1761 году после смерти генерала его сыновья продали дом Дмитрию Васильевичу Волкову, крупному государственному деятелю при царствовании Елизаветы, Петра III и Екатерины II. С 1763 года домом владел сын гофмаршала Петра I Адам Васильевич Олсуфьев. Далее участком владели различные другие хозяева.
Среди многочисленных хозяев дома № 23 встречаются обер-прокурор Правительствующего Сената Александр Николаевич Зубов (брат Платона Зубова, фаворита Екатерины II), представители династии Демидовых, Строгановых. Часто владельцы здесь не жили, дом использовался как доходный. С 1799 года в этом здании находилась мебельная лавка Гейнриха Гамбса, известного по роману «Двенадцать стульев». В 1801–1803 годах самую большую квартиру здесь снимал Пётр Иванович Багратион.
Последняя перестройка здания относится к 1865 году. Тогда к нему был пристроен пятый этаж.