O stavební historii zámku není příliš mnoho informací. První zprávy o Hrubčicích pocházejí z roku 1368, kdy celá ves patřila Půtovi z Holštejna. V roce 1387 ji získala olomoucká kapitola. Přes letní měsíce bylo sídlo obýváno kapitulními děkany a později byl statek pronajímán. V 16. století vzniká zámek v podobě pozdně renesanční.
Kolem roku 1700 byl zámek přestavěn a byly zde použity barokní prvky. Bylo také vybudováno balustrádové schodiště vedoucí z parku do patra, kam byl přemístěn hlavní vchod. V roce 1737 byla kapitulou zřízena v budově zámku kapsle sv. Václava. Přibližně v téže době byla založena zámecká zahrada ve francouzském stylu s přísně tvarovaným patrem před průčelím zámku. Byl postavem altán a oranžerie. Později asi kolem roku 1834 byla zahrada přeměněna na přírodní park vysázením značného množství cizokrajných stromů a keřů. Do současné doby se jich však zachovalo velmi málo.
Stavební úpravy z let 1868-1879 provedené za děkana Roberta Maria Lichnovského, tehdejšího konzervátora vídeňské centrální komise pro ochranu a výzkum památek a poslední úpravy z roku 1954, kdy bylo patro upraveno na bytové jednotky, měly nepříznivý vliv na nejcennější dendrologické jedince umístěné přímo u zámecké budovy. Zámek i park se stal po roce 1945 majetkem šlechtitelské stanice v Hrubčicích a v současné době je majetkem Pozemkového fondu.
Z dřevin, které v parkové úpravě zůstaly neporušeny, jsou nejzajímavější Gleditsia Iriacanthos - dřezovec trojtrnný (1), Pseudolsuga menziesii - douglaska Menziesova (2), Plainus accrifolia - platan javorolistý (3), Pinus strobus - borovice hedvábná (vejmutovka) (4), Gingo biloba - jinan dvoulaločný (5), starý exemplář Tarus baccala - tisu černého (6) a Corylus colurna - liska turecká (7).