Павильон был построен в 1800 году на террасе Собственного садика — сада императрицы Марии Федоровны. Он стал любимым местом для работы и отдыха императора Павла I. Павильон является завершающей перспективой южной оси дворца, откуда открывается живописный вид на Мариентальский пруд.
Павильон получил свое название благодаря установленной в центре скульптурной композиции «Три грации», выполненной из цельного куска каррарского мрамора итальянским скульптором Паоло Трискорни.