Участок дома № 3–5 по Большой Морской улице первоначально состоял из двух отдельных частей. В 1766 году участок дома № 3 был получен архитектором Алексеем Васильевичем Квасовым, распланировавшим в 1760х годах весь район между Большой Морской улицей, Невским проспектом и Дворцовой площадью. Сразу после получения участка он начал здесь строительство трёхэтажного дома. В 1772 году Квасов умер, так и не увидев свой дом достроенным. В дальнейшем домом владела вдова Квасова и их сын. Помещения здесь сдавались в наём. В доме размещались книжная лавка, часовая мастерская, слесарь, парикмахер.
В 1781 году участок дома № 5 был отдан купцу Т.М. Антропову, при нём здесь было построено первое каменное строение. После Антропова зданием владело множество других хозяев.
В 1801 году в доме № 3 работала кондитерская Валлота и Вольфа. Вольф позже являлся одним из владельцев кондитерской в доме Котомина. Позже здание надстроили четвёртым этажом, в доме открылась гостиница «Бель-Вю», проработавшая здесь почти 100 лет. В 1880 году в гостинице останавливались И.С. Тургенев и Дж. К. Джером.
В 1906 году дома № 3 и 5 были выкуплены правлением Азовско-Донского банка. В 1907 году здесь началось строительство нового здания. Левая часть здания строилась в 1908–1909 годах, правая — в 1912–1913. Автором проекта стал Фёдор Иванович Лидваль. Архитектор участвовал в конкурсе, устроенным городской думой. Строгие условия конкурса обуславливались близостью участка к зданию Главного Штаба. На уровне первого этажа размещены барельефы «Азия» и «Африка». Их выполнил скульптор В.В. Кузнецов. Обе части здания облицованы серым гранитом, добытым в месторождении Ковантсари на реке Вуоксе.
В 1920–1930 годах в здании размещались Ленинградская областная контора Торгбанка, сберегательная касса, учреждения промышленности цветных металлов, областной союз потребительских обществ, Ленкультторг, Военторг и другие учреждения. В 1944 году проводилась реставрация здания. 20 июня 1947 года здесь открылась междугородная телефонная станция, в 1948 году — Центральный переговорный пункт. В 1964 году в этом пункте состоялся первый разговор между Ленинградом и Москвой посредством автоматической телефонной связи. Тогда же здесь начал работать первый в СССР монетный междугородный телефонный автомат