Die heutige Kirche wurde in den Jahren 1775 bis 1776 als spätbarocker Bau nach den Plänen von Peter Mollner gebaut. Sie ist dem Hl. Andreas geweiht.
Es gab schon eine Vorgängerkirche, die etwas unterhalb der jetzigen Kirche im heutigen Schlosspark stand. Sie ist auf einem Stich des Topographen Georg Matthäus Vischer aus dem Jahr 1672 gut erkennbar und war geostet. Ladendorf ist seit 1560 eine Pfarre. Schon zuvor dürfte die erste Kirche im gotischen Stil entstanden sein.
Was wir aus der Pfarrchronik wissen, war diese baufällig geworden und in ihrem damaligen Zustand ein Ärgernis für den damaligen Schlossherrn. Fürst Johann Joseph Khevenhüller-Metsch, der Obersthofmeister Maria Theresias, trägt nämlich im Jahr 1775 in sein Tagebuch ein, dass er der Pfarre den Platz zum Bau der neuen Kirche schenkt.