14 февраля 1836 года участок был продан семьёй Эссенов за 240 000 рублей статскому советнику, владельцу уральских заводов Павлу Николаевичу Демидову. Эссены переехали в дом № 38 по Большой Морской, Демидов 25 февраля этого же года выкупил у О. Монферрана и соседний дом № 45. Эти приобретения были сделаны Павлом Николаевичем перед его женитьбе на фрейлине Авроре Шернваль, считавшейся одной из самых красивых женщин Санкт-Петербурга. Для новых владельцев особняк перестраивал О. Монферран. Архитектор занимался постройкой Исаакиевского собора, однако будучи в дружеских отношениях с Демидовыми не отказался от данного заказа.

По особому архитектор оформил въёзд во двор: ворота, балкон и две ниши с фонтанами были объёдинены в одну общую группу. В верхней части фасада была помещена скульптурная группа работы Т.Н. Жака — крылатые фигуры с геральдическим щитом. На щите был изображён герб Демидовых. В интерьере особняка особо известным стал Малахитовый зал. Впервые малахит был применён для облицовки помещения (колонны и камин). Только после появления Малахитового зала в особняке Демидовых подобный зал появился в Зимнем Дворце, в иконостасе Исаакиевского собора.

Павел Николаевич Демидов умер в 1840 году, далее домом владела его жена. Спустя несколько лет после смерти Демидова она вышла замуж за Андрея Николаевича Карамзина — сына знаменитого историка и писателя. Андрей Николаевич поселился в этом доме. В 1848–1850 годах отделочные работы и небольшие перестройки в особняке выполнял Г.А. Боссе.

После Карамзиных домом владел сын Авроры Павловны и Павла Николаевича — Павел Павлович Демидов. В 1864 году он сдал дом на 9 лет итальянскому посольству за 10 000 рублей в год. В 1874 году дом был продан светлейшей княгине Наталье Фёдоровне Ливен, внучке Санкт-Петербургского военного губернатора П. А. фон дер Палена, причастного к убийству Павла I. При новой хозяйке в 1870х годах особняк перестраивал архитектор Иван Васильевич Штром. Работы включали в себя установку в подвале двух калориферов, уничтожение печей, устройство водяного отопления, водопровода и газового снабжения.

В доме на Большой Морской Н.Ф. Ливен устроила моленьню протестантской конфессии — баптистов. В доме не было никаких светских приёмов, в Малахитовом зале проходили духовные беседы со свободным доступом всех желающих.

В 1910 году особняк был выкуплен послом короля Италии, здесь снова разместилось итальянское посольство. На картуше герб Демидовых сменился итальянским гербом. В 1925 году итальянцы вывезли из особняка всё малахитовое убранство.