Место, где находится этот замечательный дворец – угол Невского проспекта и набережной Фонтанки, – порой называют «районом двойников». И не только из-за двойной фамилии хозяев дворца – Белосельских-Белозерских. Мол, на месте Троице-Сергиевского подворья, которое расположено рядом с нынешним дворцом, императрица Анна Иоанновна незадолго до своей кончины увидела двойника. Указав Бирону на неподвижно стоявшую женщину, поразительно похожую на неё саму, императрица Анна Иоанновна сказала, что это её смерть.

Уже в XIX веке живший рядом Пётр Андреевич Вяземский однажды, придя домой, увидел в своём кабинете «самого себя, сидящего за столом и что-то пишущего».

Но, глядя на шедевр, возведённый в стиле так называемого второго барокко, в эти истории верится с трудом.

Князь Константин Эсперович Белосельский-Белозерский заказал архитектору Андрею Ивановичу Штакеншнейдеру перестроить здание. В течение 1847–1848 годов дворец был полностью переделан и приобрёл современный вид. Существует мнение, что прототипом здания, которое хотел получить Белосельский-Белозерский, послужил Строгановский дворец, выстроенный по проекту архитектора Варфоломея Варфоломеевича Растрелли.

Здание после перестройки в стиле так называемого нового барокко и стало напоминать стилистику Растрелли. В рамках этой работы Штакеншнейдер не только полностью перестроил корпуса, выходившие на Невский проспект и Фонтанку, но и возвёл новые флигеля во дворе дома. Заново был создан не только внешний облик, но также и внутренняя отделка здания. В отделке фасадов дворца широко использованы художественные приёмы русского барокко XVIII века.

Для отделки дворца был приглашён выходец из Дании русский скульптор Давид Иванович Иенсен. Давид Иванович был основателем первой в России мастерской по производству скульптур и декоративных украшений из особо прочной терракоты для фасадов и интерьеров зданий. Среди работ: кариатиды и барельефы в интерьерах Мариинского дворца. По его моделям были созданы атланты и кариатиды на фасадах дворца Белосельских-Белозерских.

Внутренняя отделка дворца была выполнена Штакеншнейдером. Яркими примерами такой отделки стали широкая парадная лестница и мраморные камины. Вдоль лестницы стояли кариатиды и скульптуры, поддерживающие позолоченные канделябры, а в ажурной решётке перил автор поместил изящные вензеля из инициалов владельца.

Великолепно была отделана библиотека Белосельских-Белозерских: стены обиты резными деревянными панелями и затянуты шёлком, камин украшен рельефным узором, огромное зеркало в позолоченной раме.

Заказчик дворца Константин Эсперович Белосельский-Белозерский скончался, пока рыли фундамент для нового здания. Его супруга, а точнее, вдова Елена Павловна (урождённая Бибикова) вышла замуж за Василия Кочубея и переехала в его особняк на Литейном проспекте. Но дворец на Невском она не оставляла. Именно там она проводила балы и светские вечера. Дворец был расположен по соседству с императорским Аничковым дворцом, и царские особы были там частыми гостями.

В 1865 году сын Елены Павловны флигель-адъютант Константин Белосельский женился на Надежде Дмитриевне (урождённой Скобелевой). Молодые поселились во дворце.

Дворец в ту эпоху продолжал считаться самым модным местом столицы. Но тут грянул кризис. Это впрямую коснулось хозяев. Капитализация металлургических предприятий Урала – главных активов хозяина – стремительно снижалась. Причин было много, в том числе и неудачное управление, отсутствие инвестиций в основное производство. Князь Кочубей пытался выправить ситуацию, для этого набрал кредитов у государства, но не смог спасти положение и в конце концов вынужден был рассчитаться с казной дворцом.

В 1884 году император Александр III подарил дворец младшему брату Сергею Александровичу. Это был свадебный подарок по случаю бракосочетания великого князя с Елизаветой Фёдоровной (Елизаветой Гессен-Дармштадтской). Дворец получил новое название – Сергиевский. Но название у петербуржцев не прижилось.

Молодые прожили во дворце недолго. В 1891 году император назначил великого князя Сергея Александровича генерал-губернатором Москвы. Светская жизнь во дворце прекратилась. В 1905 году Сергея Александровича в Москве убил эсер-боевик. После трагической гибели супруга Елизавета стала монахиней, игуменьей московской Марфо-Марьинской обители. Так как у Сергея Александровича и Елизаветы Фёдоровны не было детей, её приёмными детьми стали племянники мужа – Дмитрий и Мария Павловичи. Их мать умерла при родах, а их отец, великий князь Павел Александрович, был вынужден оставить детей после большого скандала. Павел Александрович отбил красавицу-жену генерала Эриха фон Пистелькорса. Несмотря на то что он женился на ней, великого князя на долгое время выслали из России.

Мария Павловна вышла замуж за шведского принца, а Дмитрий Павлович получил от тёти Елизаветы её петербургский дворец на Невском.

Дмитрий был любимцем последнего государя Николая II и покорителем женских сердец. Мастер джигитовки и выездки, он возглавлял российских конников на Олимпиаде 1912 года в Стокгольме, был автогонщиком. В 1916 году он вместе с Феликсом Юсуповым принял участие в покушении на Григория Распутина. После убийства «старца» последовала знаменитая царская резолюция: «В России убивать никому не дозволено». Дмитрий Павлович был вынужден расстаться с дворцом и был выслан в Персию. Но всё-таки, несмотря на это, он успел перед отъездом продать дворец Ивану Ивановичу Стахееву, владельцу крупной финансово-промышленной монополии.

Во время Первой мировой войны во дворце размещался британско-русский военный госпиталь.

После революции 1917 года дворец Белосельских-Белозерских, как и многие другие, был национализирован. С 1920 года здесь находился районный комитет партии Центрального, позднее Куйбышевского, района. Советское время прошло для него менее болезненно, чем для большинства других объектов. Интерьеры памятника второго барокко в XX веке почти не пострадали. Правда, дворец расстался с коллекцией картин, собранной Белосельскими-Белозерскими: она была перевезена частично в Эрмитаж, частично в особняк на Крестовский остров, которым семейство Белосельских-Белозерских владело многие годы.

В 1991 году райком КПСС закончил свое существование и дворец Белосельских-Белозерских был передан Комитету по культуре мэрии Санкт-Петербурга, также в нём был расположен городской культурный центр. В начале XXI века в нём был открыт Исторический музей восковых фигур. Более двухсот экспонатов этой коллекции изображают людей, вошедших в историю со времён Ивана Грозного. Во дворце устроен концертный зал, в нём периодически проходят разнообразные музыкальные выступления.