Этот дворец — один из тех грандиозных любовных подарков, на которые так щедра была Екатерина II. Взойдя на российский престол, она хотела поощрить каждого из тех, кто ей помог, но особенно важным ей казалось наградить своего фаворита, бесстрашного Григория Орлова.
На него сошла целая лавина почестей — ордена, княжеский титул, драгоценные подарки, назначение шефом Конного и Кавалергардского полков. Рядом со своей грандиозной резиденцией императрица приказала заложить для фаворита дворец. Сначала новое здание называли Каменным домом у Почтовой пристани, но поскольку архитектор Антонио Ринальди решил использовать в отделке 32 сорта мрамора как итальянского, так и местного, то окончательное название дворца связано именно с этим материалом. Желая подчеркнуть, как важна была для нее помощь братьев Орловых, императрица хотела сделать на фронтоне надпись «Здание благодарности». Есть версия, что в качестве ответного подарка Орлов подарил своей даме сердца персидский бриллиант «Надир-шах», который до сих пор остается самым крупным из исторических алмазов в России. Новый камень украсил Императорский скипетр Екатерины II. Однако скорее всего это был подарок Екатерины самой себе — у Орлова вряд ли Орлов нашлось бы почти полмиллиона рублей на его покупку.
Как бы то ни было, пожить в Мраморном дворце Орлову так и не довелось — к тому времени как резиденция была готова, доблестный граф заболел психическим недугом, «впал в детство», и был удален от двора, чтобы не смущать своим видом окружающих. С конца XVIII века и до революции Мраморный дворец использовался как резиденция великих князей, родственников императора. Интересно, что с дворцом связана еще одна скандальная «бриллиантовая история», произошедшая в семье великого князя Константина Николаевича: в 1874 году его старший сын, молодой великий князь Николай Константинович тайком пробрался в родительскую спальню и выломал из оклада семейной иконы три бриллианта, чтобы заложить их в ломбард и порадовать подарками свою возлюбленную, цирковую наездницу Фанни Лир. Преступление было раскрыто, и великого князя навсегда удалили от двора. Остаток жизни он провел в Ташкенте, где воплотил множество полезных общественных проектов, оставил о себе добрую память.