В 1792 году участок вместе со зданием был продан Якову Ивановичу Булгакову, бывшему чрезвычайному посланнику в Турции, при участии которого к России был присоединён Крым.

С 1801 года дом принадлежал тайному советнику Василию Николаевичу Зиновьеву. В 1820–1821 годах — барону Александру Александровичу Ралю. Одна из дочерей Раля была замужем за архитектором А.П. Брюлловым, другая — за за генералом Ф.Ф. Шубертом, автором плана Санкт-Петербурга от 1828 года. Внучка дочери Раля и Шуберта — первая русская женщина-математик Софья Ковалевская.

В первой трети XIX века центральную часть фасада трёхэтажного здания украшал четырёхколонный портик. Слева от здания находились ворота, ведущие во двор, обособленный дворовыми флигелями.

С 1822 года особняк принадлежал графине Марии Григорьевне Разумовской, вдове Льва Кирилловича Разумовского. 26 января 1837 года на балу у Разумовской был А.С. Пушкин. Здесь он искал секунданта для дуэли с Дантесом, просил им быть секретаря английского посольства Артура Меджниса. Однако убедившись что примирение с Дантесом невозможно, Меджнис отказался от предложения Пушкина.

В 1839 году А.П. Брюллов надстраивал боковые части лицевого фасада, увеличив высоту окон третьего этажа.

В 1840-1850х годах дом принадлежал князю Павлу Александровичу Урусову. В 1848-1850х годах по проекту В. В. фон Витта здание было перестроено: его объём был расширен за счёт ворот, фасад стал отделан в стиле «второго барокко».

В 1870х годах дом принадлежал семье Сазиковых, известных ювелиров, поставщиков императорского двора. Здесь находился их магазин. В 1871–1873 годах по проекту Н.В. Набокова здание было надстроено четвёртым этажом с фигурным фронтоном.