Die Kirche „Unserer Lieben Frau“ dürfte eine Gründung der Grafen von Neuburg-Falkenstein im 12 Jh. sein. In den Freisinger Quellen ist Fagen 1138/48 ohne Kirche, 1315 in den Conradinischen Matrikeln, als Filialkirche mit Begräbnis- recht von Götting verzeichnet. Das gesamte Areal einschließlich Poschnhof ist adeliger unbelehnter Besitz. Der westlich der Kirche stehende Sedelhof wird zertrümmert und im 18. Jh. aufgelassen.
