Der aus Salzburg stammende Baumeister Jakob Oeckhl (1670-1754) plante und errichtete die Pfarrkirche in Kaltenleutgeben und aufgrund eines Gelübdes finanzierte er den Bau auch selbst.
In den Jahren 1729 bis 1732 entstand so das für den damals recht bescheidenen Ort großzügig bemessene Gotteshaus.
An derselben Stelle befand sich zuvor eine kleinere Kirche, die wie die heutige den hl. Apostel Jakobus den Älteren zum Patron hatte – dieses Patrozinium wurde von der Pfarre Gaaden übernommen, zu der Kaltenleutgeben ursprünglich gehörte.
Um 1700 brachte ein Ordensgeistlicher das Bildnis der Schwarzen Madonna (eine Kopie des Altöttinger Gnadenbildes) nach Kaltenleutgeben. Bald ereigneten sich wunderbare Krankenheilungen und die ersten Wallfahrten kamen nach Kaltenleutgeben.
Für die Wallfahrer wurde auch die vor der Kirche liegende Jakobuskapelle errichtet, die mit einem Brunnen und einer Statue des Heiligen ausgestattet ist.