Początki rezydencji w Kamieńcu nie są znane. Wiemy na pewno, że istniał tu średniowieczny zamek. Na ruinach tej budowli ród wzniósł w XVI w. renesansową rezydencję. Rychło też Kamieniec stał się ich głównym gniazdem.
Początek wieku XVIII przyniósł powstanie nowego, tym razem barokowego pałacu, wybudowanego z inicjatywy Martina Scholtz von Löwenkrona na fundamentach wspomnianego, renesansowego obiektu. Nowa rezydencja posiadała zwartą, dwukondygnacyjną bryłę przykrytą mansardowym dachem. W połowie tego samego stulecia pałac został nabyty przez Karola Józefa Strachwitza. Strachwitzowie, którzy byli jego właścicielami przez dłuższy czas, uczynili z niego swoją siedzibę rodową. Im to również rezydencja zawdzięcza kolejną przebudowę, dokonaną w latach siedemdziesiątych XIX w. Zburzono wówczas mur otaczający budowlę, a następnie rozbudowano ją w stylu neorenesansu. Kolejni właściciele, Stolbergowie, posiadający pałac w pierwszej połowie XX w., dokonali ostatniej przebudowy, która nadała rezydencji cechy neobarokowe. Charakterystycznymi elementami (wówczas wzniesionymi) są wieże w narożnikach. Obecnie w zadbanym i efektownym budynku pałacu mieści się Ośrodek Leczniczo-Rehabilitacyjny dla dzieci.
Na wschód od pałacu, w bezpośrednim sąsiedztwie, stoi tzw. Mysia Wieża. Przez długi czas uznawano ją za zbudowaną przez Strachwitzów w końcu XIX w., jednak badania archeologiczne odsłoniły w niej pozostałości budowli średniowiecznego zamku.