Это называется Петропавловская крепость. С неё вобщем-то начался Питер... Во время выстрела крайне не рекомендуется там находится. Можно оглохнуть на пару часов.
На фонтаны Петродворца рекомендую ехать на метеоре(это такой кораблик на подводных крыльях) от Эрмитажа.
В Питере весь исторический центр - сплошной музей. Можно посетить Кунст-камеру и Меньшиковский дворец. Сходить в летний сад и на Марсово поле, посетить памятник Петру I(он же Медный Всадник).
Из наводных экскурсий надо брать самую полную по рекам и каналам. Сам давно не был, поэтому посоветовать не могу. Но брать надо длинную на нормальном речном трамвайчике, потому что архитектура города была задумана так, чтобы смотреть на неё надо было с воды.
Из крутых пригородов, помимо Пушкина и Павловска, есть Гатчина. Там тоже есть дворец, который в своё время император Павел I пытался превратить в крепость. Он думал, что его убьют(надо сказать небезосновательно) и старался защититься как мог. Убили его в Инженерном замке, который находится недалеко от Летнего сада и Марсова поля.