В отличие от Домика Петра I, который солдаты с нуля построили для императора за несколько дней уже в 1703 году, Летний дворец на противоположном берегу Невы сооружали на месте, которое было одним из самых обжитых и благоустроенных в молодом Санкт-Петербурге. Дело в том, что в допетровское время на этом участке располагалась усадьба шведского офицера Конау с фруктовым садом.
Летний дворец был готов к 1714 году. Эта резиденция полностью соответствовала вкусам и интересам хозяина: дворец был скромным по обстановке, уютным и функционально продуманным сверху донизу. Например, на крыше была установлена фигурка Георгия Победоносца, которая служила флюгером и соединялась с немецкой машиной для измерения силы ветра — анемометром. На втором этаже были устроены не только покои императрицы, но и кухня, где она могла печь пироги для мужа. На первом этаже император принимал посетителей, а рядом с приемной располагалась комната карцер, куда он мог на некоторое время запереть вызвавшего его гнев посетителя. В Летнем дворце была даже оборудована первая в городе проточно-промывная канализация: воду закачивал насос, сливная труба была выведена в Фонтанку.
Прямо к дому можно было причалить на лодке и пришвартоваться в так называемом гаванце. Большое удовольствие императору доставлял и вид из окон — отсюда он смотрел на торговую пристань у Троицкой площади и на Партикулярную верфь на противоположном берегу Фонтанки.