Już w 1962 r. czyniono pierwsze starania w sprawie budowy nowego kościoła, lecz duszpasterz w Krupskim Młynie zamieszkał dopiero w 1976 r. Wiosną 1980 r. Wojewoda Katowicki wydał zezwolenie na budowę kościoła. Parafia Krupski Młyn została erygowana dekretem Biskupa Opolskiego 13 czerwca 1980 r. Jej terytorium wydzielono z parafii Koty.
Plac pod budowę kościoła oraz krzyż zostały poświęcone przez bpa Antoniego Adamiuka 12 października 1980 r. Rok później, 12 października 1981 r., bp Jan Wieczorek wykonał pierwszy, symboliczny wykop pod fundamenty świątyni. Budowa kościoła trwała 6 lat. W tym czasie wzniesiono kościół, kaplicę z salkami katechetycznymi oraz plebanię. Autorami projektu są architekci: Jerzy Rak i Jan Skrzypek. Konsekracji kościoła oraz ołtarza dokonał 27 września 1987 r. biskup opolski Alfons Nossol.
W 1990 r. Komisja Episkopatu ds. Budowy Kościołów przyznała trzem obiektom sakralnym powstałym w Polsce w latach 1984-88 wyróżnienie za zalety użytkowe i estetyczne wśród nich znalazł się kościół pw. św. Józefa w Krupskim Młynie.