Участок дома № 22 по Большой Морской улице с 1714 года принадлежал капитану галерного флота Андрею Петровичу Диоперу. В 1731 году на дочери Диопера женился прадед А.С. Пушкина Ибрагим Ганнибал. Дом на Большой Морской улице был отдан дочери отцом в виде приданного. После пожаров 1736–1737 годов участок продали, им владели различные хозяева.
В 1780 году дом был приобретён для санкт-петербургского полицмейстера. Для казённых надобностей он был перестроен. К началу XIX века на этом участке была размещена съезжая часть, выстроена каланча. На ней по вечерам вывешивали красный шар — сигнал фонарщикам, что пора зажигать масляные фонари.
В 1844–1847 годах дом полицмейстера был коренным образом перестроен по проекту Николая Ефимовича Ефимова. Здание стало четырёхэтажным, высота каланчи составила 35 метров. Здесь служил обер-полицмейстером будущий генерал-губернатор Санкт-Петербурга Павел Васильевич Голенищев-Кутузов. От его фамилии, возможно, произошло название арестантской — «кутузка».
В начале XX века дом отдали Центральной телефонной станции. В 1903–1904 годах по проекту Карла Валериановича Бальди здесь было выстроено новое здание. Его оборудовали для размещения здесь новой телефонной станции, проработавшей здесь с 1905 по 1950 год. Кроме телефонной станции здесь размещались другие учреждения и наёмные квартиры.
В октябре 1917 года здание заняли юнкера Владимирского военного училища, телефонную связь в Смольном отключили. В ночь на 25 октября станцией завладели солдаты Кексгольмского полка, перешедшего на сторону большевиков. Связь в Смольном восстановили, телефоны в Зимнем отключили. В 1921 году здесь произошёл сильный пожар, ремонт продолжался несколько лет.