Первый дом на этом участке по Большой Морской улице был построен в 1740х годах. Им владели различные хозяева, среди которых камергер Ф.П. Балк-Полевой, внук Анны Монс, владелец участка в 1769–1781 годах.
В 1790–1800 годах домом владел Винченцо Бренна. Здесь архитектор хранил богатую коллекцию произведений искусства: картины Тициана, Рембранда, Рени, Робера, скульптура античных времён и эпохи возрождения. Сейчас коллекция Бренны хранится в Эрмитаже.
В 1836 году здание надстроили четвёртым этажом.
В 1838–1839 годах здесь жил поэт Пётр Андреевич Вяземский. Вместе с ним жила и его дочь с мужем Петром Аркадьевичем Валуевым, будущим министром внутренних дел, председателем Комитета министров. Здесь в гостях у Карамзина не редко бывали Пушкин, Лермонтов.
С начала ХХ века дом принадлежал Иде Балтазаровне Лидваль — матери архитектора Фёдора Ивановича Лидваля. Здесь размещался торговый дом «И.П. Лидваль и сыновья», фирма занималась пошивом одежды, была одной из самых известных в России. Ида Балтазаровна возглавляла семейную фирму после смерти мужа. При ней в здании производились переделки, были установлены лифты. Позже дом был надстроен пятым этажом.
В 1918 году дом И.Б. Лидваль был конфискован в пользу Комиссариата городского хозяйства.