В 1781 году этот участок выкупила полковница Елисавета Михайловна Попова. С 1782 года им стал владеть поручик Иван Иванович Рейнерсон, а далее — его потомки. Участок был застроен тремя каменными корпусами, театр был перестроен в двухэтажный жилой дом. В начале 1820х годов на углу Большой Морской улицы и Кирпичного переулка была построена деревянная восьмиугольная ротонда. Она была построена для показа панорамы Парижа. Через несколько лет на месте ротонды появилось прямоугольное здание. На его первом этаже разместилось торговое помещение, на втором — диарама. В 1841 году на втором этаже этой постройки поселился детский кукольный театр. Вероятно это был первый в России детский театр. Представления шли на французском языке. Просуществовало это заведение здесь до 1848 года, когда здание было сломано из-за ветхости.

В 1850 году участок купила Мария Фёдоровна Руадзе — жена титулярного советника, смотрителя одного из Императорских театров. При новой владелице началось строительства нового здания, фасады которого стали выходить на Большую Морскую улицу, Кирпичный переулок и Мойку. С этим строительством вышел скандал, так как муж Марии Фёдоровны Григорий Иванович в то время служил экзекутором и казначеем в Медицинском департаменте, получал жалование 560 рублей в год. Соответственно возник вопрос, откуда он взял 70 000 рублей на строительство. Ничего противоправного в действиях Руадзе найти не удалось, однако его уволили с высочайшим повелением «никуда в службу не употреблять». Первоначальный проект здания разработал Андриан Робен. Однако он не устроил заказчика, был переработан Рудольфом Андреевичем Желязевичем. Именно по его проекту был построен угловой дом, выходящий на Большую Морскую улицу и Кирпичный переулок. Часть выходящая на Мойку была построена в 1856 году по проекту Николая Павловича Гребёнки.

В новом доме имелся большой зал, который сдавался для концертов и спектаклей. С 1859 года здесь проводил свои вечера Литературный фонд, созданный для помощи молодым литераторам. Его организаторами были Н.А. Некрасов, М.Е. Салтыков-Щедрин, И.С. Тургенев, А.К. Толстой. 14 апреля 1860 года здесь состоялся показ «Ревизора» Гоголя, запрещённого к постановке на официальной сцене. В ролях были заняты Ф.М. Достоевский, И.С. Тургенев, Н.А. Некрасов.

С 1863 года домом владел почётный гражданин Иван Алексеевич Кононов. В 1866 году после неудачного покушения на Александра II здесь была снята квартира для «спасителя царя» Осипа Ивановича Каракозова, вовремя оттолкнувшего руку стрелявшего в императора. В 1882 году после отмены монополии Императорских театров в концертном зале начала свою работу первая в Санкт-Петербурге частная антреприза — «Русский театр Коровякова». Затем здесь работали различные другие театры.

В начале XX века часть здания занимали меблированные комнаты. Их хозяйкой была сочувствовавшая большевикам О.А. Мухина. В ноябре 1905 года здесь жила Надежда Константиновна Крупская, в ноябре-декабре этого же года в комнатах Мухиной проходили заседания ЦК большевиков с участием В.И. Ленина. У Мухиной жил Фёдор Иванович Шаляпин. В этих комнатах он принимал писателя А.И. Куприна, рассказывал как он впервые пел в концерте. Куприн позже сочинил об этом рассказ «Гоголь-моголь».