Die Anfänge
Die Anfänge der heutigen Burganlage sind unbelegt und reichen in die graue Vorzeit zurück. In den frühesten Urkunden seit der Zeit Karls des Großen findet man den Namen Pappenheim häufiger. Die Burg dürfte sich um einen niedrigen Bergfried herum entwickelt haben, ist aber erst ab dem Jahr 1028, anläßlich ihrer Zerstörung durch Herzog Ernst II. von Schwaben und König Konrad II. urkundlich erwähnt.
Geschichte der Burg
Burg Kalteneck, wie Burg Pappenheim fast über das gesamte Mittelalter genannt wurde, war im 13. Jahrhundert Schauplatz zahlreicher Auseinandersetzungen der Bayernherzöge und des Gegenkönigs Heinrich Raspe gegen die kaiserlichen Parteigänger.
Das hatte etliche Neu- und Ausbauten zur Folge, die sich in mehreren Wellen bis ins 14. und 15. Jahrhundert hinzogen.
1633 im 30-jahrigen Krieg wurden Burg und Stadt von schwedischen Regimentern erstmals erobert und zerstört.
Nach vielfältigen Umbauten und Erweiterungen wurden unter Marschall Sebastian Gebäude an der Nordwestseite gebaut, so daß man es spätestens seit dieser Zeit mit jenem allseits umbauten Burghof zu tun hatte, den die beiden Zeichnungen aus dem Jahre 1664 erkennen lassen.
1703 im Spanischen Erbfolgekrieg wurde Pappenheim noch einmal von französischen Truppen geplündert und die Burg nach Beschuss teilweise zerstört.
Seither ist die Burg zunehmend verfallen und erst im 20. Jahrhundert beginnt die Restaurierung.