В 1790 годах на месте ворот справа от дома был построен трёхэтажный флигель.

В 1834 году этот дом выкупил Огюст Монферран со своей женой Элизой. В 1835 году был утверждён проект перестройки здания, однако в 1836 году Монферран продал дом вместе с проектом владельцу соседнего дома № 43 Павлу Николаевичу Демидову. Архитектор переселился в дом на другой стороне Мойки (дом № 86-88), сразу же начал перестройку дома № 45 по Большой Морской улице для нового хозяина. Парапет одноэтажной части особняка украсили три панно: «Франциск I у умирающего Леонардо да Винчи», «Микеланджело показывает папе Павлу III проект собора Святого Петра» и «Карл I подаёт Тициану кисть».

В 1839 году по указанию Демидова мостовую перед домом замостили асфальтовыми плитами, выложенными на слой песка. Однако плиты, что естественно, вскоре расползлись.

В 1873 году сын Павла Николаевича, Павел Павлович Демидов продал особняк княгине Вере Фёдоровне Гагарирой, сестре хозяйки соседнего дома Н.Ф. Ливен. Гагариной дом принадлежал до 1918 года, в справочниках особняк часто числится как «дом Гагариной». В 1873 году по проекту архитектора Ивана Васильевича Штрома здание несколько изменилось. В левой части уничтожили двери с зонтиками, новый вход сделали на месте крайнего правого окна. Не сохранилась внутренняя отделка работы Монферрана, существующая относится к 1890м годам.

В 1918 году дом оказался конфискован в пользу Комиссариата народного хозяйства за неуплату его владельцами городских сборов за 1917 и 1918 годы. В 1920х годах здание занимали различные учреждения, в том числе правление Ленинградского автоклуба. Большой зал в верхнем этаже использовался для занятий кружка бальных танцев.