Первое здание после пожаров 1730х годов на этом участке по Большой Морской улице было построено в 1742–1745 годах. Им стало здание театра немецкого комедианта Ягана Христофора Зигмунда. Дом имел внушительные размеры, был выстроен в два этажа, в тринадцать окон по фасаду. Кроме немецких комедиантов здесь выступал и театр Фёдора Волкова.
С 1746 года здание принадлежало различным хозяевам. В 1780х годах на месте ворот была сооружена пристройка, дом занял весь участок. С 1790х годов в угловой части здания открылась фруктовая лавка, известная в Петербурге как «лавка Смурова».
В 1820-1830х годах дом принадлежал купцам Кусовниковым. В 1837 году за долги М.М. Кусовникова губернское правление назначило дом в продажу. Его купил статский советник Густав Васильевич Лерхе. В 1838 году Лерхе заложил дом за 200 000 рублей с целью его перестроить. Строительные работы были поручены Полю Жако. Архитектор, изучив здание, пришёл к выводу о возможности перестройки здания путём возведения дополнительных этажей. В результате дом стал четырёхэтажным, на фасадах появились эркеры. Во дворе были построены пяти- и шестиэтажные флигели. Особняк был превращён в доходный дом.
В 1839 году сюда переехал Александр Иванович Герцен. Именно в связи с этим адресом, позже была названа Большая Морская улица его именем.
С конца 1840х дом принадлежал семье Елисеевых. В 1860х годах здесь жил внук полководца А.В. Суворова — Константин Аркадьевич Суворов.