In dieser Urkunde vom 12. November 802 vermachte Reginsind, Tochter eines edlen Franken namens Germunt, Witwe eines Grafen Berchtold aus dem Thurgau all ihr Gut in Pappenheim, Niederpappenheim, Schambach und Dietfurt an das Kloster St. Gallen.
Diesen Besitz hatte Germunt, der um 750 oberhalb des früheren Königshofes lebte, königlicher Vergabe zu verdanken.



Burg Kalteneck, wie Burg Pappenheim fast über das gesamte Mittelalter genannt wurde, war im 13. Jahrhundert Schauplatz zahlreicher Auseinandersetzungen der Bayernherzöge und des Gegenkönigs Heinrich Raspe gegen die kaiserlichen Parteigänger.
Das hatte etliche Neu- und Ausbauten zur Folge, die sich in mehreren Wellen bis ins 14. und 15. Jahrhundert hinzogen.
1633 im 30-jahrigen Krieg wurden Burg und Stadt von schwedischen Regimentern erstmals erobert und zerstört.
Nach vielfältigen Umbauten und Erweiterungen wurden unter Marschall Sebastian Gebäude an der Nordwestseite gebaut, so daß man es spätestens seit dieser Zeit mit jenem allseits umbauten Burghof zu tun hatte, den die beiden Zeichnungen aus dem Jahre 1664 erkennen lassen.
1703 im Spanischen Erbfolgekrieg wurde Pappenheim noch einmal von französischen Truppen geplündert und die Burg nach Beschuss teilweise zerstört.
Seither ist die Burg zunehmend verfallen und erst im 20. Jahrhundert beginnt die Restaurierung.