Auf geschichtsträchtigem Grund im Tal zwischen Ester- und Ammergebirge, dort wo nachweislich um 200 nach Chr. unter Septimus Severus die Römerstraße ausgebaut wurde und gen Norden führte, erhoben sich später die das Land beherrschenden Burgen, zu denen auch die Burg der Grafen von Eschenlohe gehörte. Diese befand sich auf einem Hügel - dem Vestbühl - am südlichen Ortsende.

Die Besitztümer der Grafen von Eschenlohe erstreckten sich nach Süden über Partenkirchen und Mittenwald weit hinaus bis in das Ultental in Südtirol, nach Norden bis Murnau und zum Staffelsee. Weiter nördlich waren ihre Besitzungen zwischen jenen der Grafen von Andechs verstreut. Man vermutet, dass sie mit diesen in verwandtschaftlicher Beziehung standen. Dafür spricht die Übereinstimmung des Wappens beider Grafengeschlechter.

Udalschalk, vermutlich ein Bruder des Grafen Berthold I. von Eschenlohe wurde 1184 zum Bischof von Augsburg geweiht. Berthold III., erstmals urkundlich 1246 erwähnt, hatte keine männlichen Nachkommen und verkaufte seine gesamten Besitzungen im Jahre 1294. Ein Teil davon, einschließlich Eschenlohe, wurde Eigentum des Hochstiftes Augsburg; dieses Gebiet wurde wiederum 1332 an Kaiser Ludwig verkauft, der es an das Kloster Ettal übergab. Die Besitzungen Partenkirchen und Mittenwald veräußerte Berthold III. für 1000 Mark lötigen Silbers und jährlich - bis an sein Lebensende - 5 Fuder Bozener Weines an den Bischof von Freising. Der Name des Eschenloher Grafengeschlechtes ist ab dem 14. Jahrhundert nicht mehr nachzuweisen. Nach dem Verfall der Burg errichteten Ansiedler ihre Häuser aus den Steinen des Burggemäuers. Ein ansehnlicher Ort entstand.