Pod koniec XVIII wieku swoją siedzibę rodową mieli tutaj hrabiowie von Wengersky (wywodzili się z polskiej rodziny szlacheckiej Węgierskich). I właśnie zarządca finansowy ich dóbr, Anton Welzel, zapisał w testamencie sporą sumę pieniędzy na fundację klasztoru i szpitala dla ubogich w Pilchowicach.
Wykonawcami zapisu zostali hrabiowie von Wengetrsky. Klasztor został wzniesiony w latach 1802–1814. Już w 1800 roku do Pilchowic przybyli zakonnicy specjalizujący się w opiece nad chorymi, czyli bonifratrzy. Prowadzili szpital i aptekę, opiekowali się chorymi i ubogimi w okolicy. Po upływie kilku dziesiątek lat szpital bonifratów został rozbudowany.
Pilchowicki szpital bonifratów powstał na planie podkowy; zdobią go liczne elementy neogotyckie, jak np. attyki krenelażowe, wieżyczki i sterczyny. Nad głównym wejściem umieszczono figurę św. Józefa z Dzieciątkiem Jezus. W południowo-wschodnim skrzydle znajduje się szpitalna kaplica.