Дом № 31 по Большой Морской улице содержит в своём фасаде «образцовый» проект 1730х годов, разработанный М.Г. Земцовым. Тогда в глубине участка располагался сад, разделённый аллеями на четыре квадрата. На улице между двумя воротами располагался девятиоконный одноэтажный дом на высоких погребах. Здание имело центральное парадное крыльцо.
Дом № 31 принадлежал различным хозяевам. Среди них генерал В.В. Долгорукий, директор императорских театров А.Л. Нарышкин, жена князя А.Я. Лобанова-Ростовского. В 1846 году князем был основан Императорский Санкт-Петербургский яхт-клуб, клубное собрание он разместил в этом доме.
В 1852 и в 1858 годах здание перестраивалось. С главным зданием был соединён левый флигель. В 1872 году был построен правый флигель. В 1903 году здание выкупил яхт-клуб. При нём здесь находилась гостиница.