В первой половине XVIII века этот участок между Большой Морской улицей и рекой Мойкой оставался незастроенным. Достоверных сведений о первом владельце не сохранилось, но второй хозяин участка французский купец Еган Даниель Винтер указывал, что приобрёл его 23 декабря 1762 года у поручика артиллерийского фурштата Марка Васильева сына Семёнова.
В 1777 году участок приобрёл действительный тайный советник Иван Семёнович Головкин — внук первого канцлера Российской Империи. С 1779 года земля принадлежала провиантмейстеру Николаю Максимилиановичу Походяшину, с 1785 года — генерал-майору Василию Ивановичу Левашову.
В конце XVIII века дом Левашова был на этаж выше других соседних строений. Первоначально застройка участка была усадебной. Главный фасад особняка был со стороны Мойки, ко входу в дом надо было идти через сад. Хозяин чаще отсутствовал, домом часто распоряжалась императрица.
В 1787 году здесь три месяца жил венесуэлец, латиноамериканский революционер Франциско Миранда — один из руководителей борьбы за независимость испанских колоний в Южной Америке. Преследуемый испанскими властями он оказался в России и некоторое время провёл в доме на Большой Морской улице. В 1793 году здесь останавливался граф д'Артуа — бежавший из Франции брат казнённого короля Людовика XVI, впоследствии король Карл X. Весной 1794 года в этом доме недолго жила Екатерина Романовна Дашкова. Василий Иванович Левашов умер в 1804 году, но дом числился за ним ещё два года. Затем участок продали, а вырученные средства разделили между шестью внебрачными детьми генерала. В 1809 году владелицей особняка являлась жена егермейстера императорского двора Екатерина Александровна Пашкова, сестра бывшего петербургского генерал-губернатора Н.А. Толстого. В 1816 году Пашкова передала дом генерал-адьютанту Павлу Андреевичу Шувалову — внуку фельдмаршала Петра Ивановича Шувалова. В 1820 году Шувалов продал дом супруге действительного статского советника Марье Донауровой. С 1829 года домом владела Надежда Сергеевна Толстая.
В 1835 году дом купил князь Сергей Сергеевич Гагарин. По его заказу архитектором А.Х. Пелем был построен лицевой флигель по Большой Морской улице (дом № 52), который и сохранился здесь до сих пор.
В 1864 году сын князя Гагарина продал дом жене статского советника Александра Александровича Половцова Надежде Михайловне. Особняк был куплен на деньги приёмных родителей Надежды Михайловны — семьи банкира Штиглица. Ходили слухи, что она являлась внебрачной дочерью великого князя Михаила Павловича. Для семьи Половцовых в особняке были созданы великолепные парадные интерьеры, большую часть которых здесь можно наблюдать и сейчас. Над интерьерами работали Г.А. Боссе, Н.Ф. Брюлло, М.Е. Месмахер. Особенно выделяются Белый зал (архитектор Г.А. Боссе, позже Н.Ф. Брюлло), Бронзовый зал (когда то был украшен подаренными Наполеоном Александру I гобеленами, архитектор М.Е. Месмахер), Дубовый зал, столовая, гостиная, библиотека, будуар с эркером. Благодаря этим в основном сохранившим свой облик залам дом до сих пор называют особняком Половцова.
В начале 1915 года дочь Половцовых Анна Александровна Оболенская продала свой дом за 500 000 рублей Л.П. Мошкевичу. В 1916 году особняк Половцова перешёл к К.И. Ярошинскому — члену Общества возрождения художественной Руси. 21 октября 1916 года здесь состоялся вечер, на котором Сергей Есенин и Николай Клюев читали свои стихи. В 1930 году в особняке Половцова открылась школа профдвижения, позже преобразованная в Высшую профессиональную школу культуры. С 1934 года в особняке Половцова размещается Санкт-Петербургское отделение Союза архитекторов России. С тех пор особняк называют также Домом Архитектора. Здесь проводятся творческие конкурсы, выставки, концерты.