Nazwa parku, podobnie jak ulicy Książęcej (dawniej ul. Na Książęcem), pochodzi od księcia podkomorzego koronnego Kazimierza Poniatowskiego. Dzisiaj to część parku im. Rydza-Śmigłego, jednak historycznie Ogród na Książęcem tworzył niezależny kompleks Kazimierza Poniatowskiego.

Powstał w miejscu cegielni królewskiej od strony zachodniej i części Ekonomii Saskiej od wschodu. Jedynym zachowanym obiektem z tamtych czasów jest podziemna grota Elizeum, słynąca jako miejsce schadzek. Następnie na skarpie działał szpital św. Łazarza, który został zniszczony podczas walk powstańczych, a u podnóża funkcjonowały w różnych okresach obiekty przemysłowe: młyn parowy, fabryka powozów, koszary, Fabryka Maszyn Żelaznych czy Zakłady Mechaniczne.

W 2012 roku KDPW zainicjował prace związane z uratowaniem akacji, która ze względu na swój wiek, wymagała specjalistycznej opieki i pielęgnacji ze strony dendrologów.