В 1751 году здесь жил архитектор Пьетро Антонио Трезини. В 1763 году участок дома № 38 указом Екатерины II передаётся в «вечное и потомственное владение» статскому советнику Ивану Перфильевичу Елагину. В доме у Елагина останавливался граф Калиостро, у которого Иван Перфильевич пытался выведать секрет философского камня. Будучи директором императорских театров, Елагин разместил у себя дома собственную контору.

В 1802 году дом был выкуплен в казну для размещения здесь канцелярии санкт-петербургского генерал-губернатора. В 1820х годах в казну был приобретён флигель со стороны Мойки. В корпусе со стороны Большой Морской улицы располагались помещения для сторожей и курьеров, канцелярия, приёмная и кабинет генерал-губернатора. Первым генерал-губернатором, жившим здесь в 1824–1825 годах, был Михаил Андреевич Милорадович. За ним здесь квартировался Павел Васильевич Голенищев-Кутузов.

В 1826 году перед домом генерал-губернатора в мостовой устроили колеи, а в 1830 году мостовую замостили деревянными шестиугольниками. Торцевую мостовую впервые предложил сделать инженер В.П. Гурьев.

В 1830х годах в доме № 38 жил генерал-губернатор Пётр Кириллович Эссен. Ежегодно на святках у него устраивался бал, на одном из которых присутствовал М.Ю. Лермонтов. Именно по проекту Эссена в Санкт-Петербурге провели нумерацию домов по улицам, а не по кварталам. В 1830-1840х годах здание перестраивалось, здесь соорудили башню оптического телеграфа. Эту башню разобрали в 1842 году, её заменил купол с крестом церкви Николая Чудотворца.

При генерал-губернаторстве А.А. Суворове (внуке известного полководца) здесь глава города уже не жил, но работала его канцелярия. В 1866 году пост генерал-губернатора упразднили, дом был передан обер-полицмейстеру.

В 1877 году дом перешёл к Обществу поощрения художников. В 1877–1878 годах по проекту Максимилиана Егоровича Месмахера здание было коренным образом реконструировано. Была упразднена церковь, устроены выставочный зал, помещения для рисовальной школы и первого в России художественно-промышленного музея. Этот музей был создан по инициативе Дмитрия Васильевича Григоровича, его имя заведение получило после смерти писателя. С 1882 года общество стало именоваться Императорским обществом поощрения художеств, именно это название и даты «1820-1890» можно видеть на фасаде здания. Они были выложены в виде мозаики при перестройке здания в 1890–1893 годах по проекту Иеронима Севастьяновича Китнера. При этой перестройке у здания появился четвёртый этаж, на крыше была установлена аллегорическая фигура «торжествующий гений».

В здании общества поощрения художеств проходили выставки художников-передвижников. Здесь бывали И.Е. Репин, М.А. Врубель, В.В. Стасов, А.А. Блок. С 1906 по 1917 год здесь работал художник Николай Константинович Рерих. Он жил в части дома со стороны Мойки. С 1906 года он возглавлял Рисовальную школу общества.

В 1929 году Общество поощрения художеств упразднили, имущество распродали. В этом же году на квартире Рериха был произведён обыск с целью обнаружения материалов, уличающих его в шпионской деятельности. Однако ничего подобного здесь найдено не было. В 1932 году здание передали Союзу художников РСФСР.