Biskup wrocławski Balthasar von Promnitz kupił Zamek Dewinów – Packów wraz z dobrami ok. 1560 roku, a następnie przekazał za zgodą cesarza swojemu bratankowi Seyfriedowi w dziedziczne władanie ok. 1700r. przebudowano wieżę zamkową podnosząc ją, dodając zegar i nadając jej okazały barokowy kształt.
W czasach panowania Promnitzów stary zamek (dawny Bibersteinów) był upiększany sztukateriami i polichromiami. Pełnił tez funkcje siedziby Landwójta (sędziego krajowego) całych Dolnych Łużyc.
Na terenach podzamcza Zamku Bibersteinów najwybitniejszy z Promnitzów Erdmann II wybudował w latach 1714-1726 swój barokowy pałac. Świadczą o tym widoki miasta z 1714 i 1726.
Na pierwszym nie ma jeszcze pałacu a na drugim już jest. Architektami tego kompleksu wraz z przynależnym parkiem, ogrodami, maneżem, oranżerią, pałacem letnim i myśliwskim byli Giovanni Simonetti, Carl Spanninger oraz Georg Bahr (architekt między innymi Frauenkirsche w Dreźnie). Szczególnie ten ostatni, który przebywał w Żarach nieprzerwanie w latach 1711-26 nadał monumentalnej rezydencji, ostateczny barokowy wygląd.
W latach 1704 – 1708 kapelmistrzem na żarskim dworze Erdmannna II i jego letniej rezydencji w Pszczynie był Georg Philipp Telemann. Z tego okresu pochodzą kompozycje, w których można znaleźć elementy polskiej muzyki ludowej. W 1709 r. Telemann wziął ślub w kaplicy zamkowej z dworzanką żony Hrabiego von Promnitz.
Erdmann II Promnitz pochowany został w mauzoleum pod wieżą zamkową.
Ród Promnitzów panował w Żarach do 1765 r. Ostatni z Promnitzów Johann Erdmann III oddał państwo stanowe Żary elektorowi saskiemu za dożywotnia rentę. Zamek i pałac stał się własnością państwa pruskiego po kongresie wiedeńskim w 1815 r.