Das Schloss war über mehrere Jahrhunderte Residenz der Fürstbischöfe von Speyer. Irgendwann wurden sie wohl der kriegerischen Belastungen überdrüssig und verlegten Mitte des 18. Jh. ihren Sitz nach Bruchsal.