Mit den Arbergern kam Ende des 12. Jh. ein neues Geschlecht in die Region. Sie errichteten nicht nur die Araburg, sondern siedelten als Grundlage ihrer Herrschaft auch Bauern an. Für diese bauten sie eine Kirche und legten so den Grundstein für die Pfarre Kaumberg.
Das Gebiet, in dem sich all das abspielte, war jedoch ab Mitte des 12. Jh. zumindest nominell unter dem Einfluss des nahen Benediktinerklosters (Klein-) Mariazell. Nach einigen Jahrzehnten intensiver Auseinandersetzungen mussten die Arberger 1256 die Hoheit über Kirche und Pfarre an die Mönche abtreten. Sie bestimmten nun die Seelsorger und sorgten für die Erhaltung und den Ausbau des Gotteshauses.
Nach den verheerenden Türkeneinfällen, die das Kloster schwer in Mitleidenschaft zogen, gelangten Pfarre und Kirche 1534 ganz unter die Hoheit der Araburg. Diese wurde schließlich 1626 vom Stift Lilienfeld erworben, das seitdem für die seelsorgliche Betreuung Kaumbergs verantwortlich ist.
Die Kirche ist ein durchwegs gotischer Bau aus dem 14./15. und beginnenden 16. Jh. und stammt somit noch aus (Klein-) Mariazeller Zeit. Bemerkenswert sind ein spätgotisches Portal mit Malerei sowie Sitznischen und Sakramentshäuschen aus dieser Epoche. Die aktuelle Gestaltung des Innenraums ist auf die moderne Neuordnung 1958/1959 bzw. 1987 zurückzuführen.