Orte die auf „wang“ enden, sind in der Regel sehr alt und gehen auf eine Gründung in germanischer Zeit zurück. 1280 werden in einem herzoglichen Urbar fünf Höfe im Ammertal genannt. Bei diesen handelt es sich höchst wahrscheinlich um die Höfe in Graswang. Namentlich erwähnt wird Graswang zum ersten Mal in der Gründungsurkunde der Pfarrei Ettal im Jahr 1343 als „loco Graswanch“, also als Ort Graswang.
1452 werden die bisherigen fünf Höfe in Graswang durch den Grundherrn Kloster Ettal neu aufgeteilt und es entstehen daraus acht Höfe, die auch Schwaigen (Viehhöfe) genannt werden. Diese sind dem Kloster Ettal als Grunduntertanen abgabenpflichtig mit Schmalz und Käse. Mit der Säkularisation 1803 und der Auflösung des Klosters Ettal tritt der Staat als Grundherr in die Rechte des Klosters ein. Dieser bietet an, gegen eine Geldzahlung, die Grundherrschaft abzulösen. In den Folgejahren machen alle Bauern davon Gebrauch und werden nun Eigentümer ihrer Wiesen und Weiden.
1806 wurden die Graswanger Bauern für ihre umfangreichen Holzrechte in den ehemaligen Klosterwäldern mit 516 Tagwerk Wald zu ihrem Eigentum entschädigt. Die Bauern mussten aber eine Verzichtserklärung auf sämtliche weitere Holznutzungsrechte und auf das umfangreiche Weiderecht in den nun staatlichen Wäldern unterschreiben. Dennoch wurde weiterhin das Vieh dorthin eingetrieben. Ab 1812 sahen die Behörden die Notwendigkeit der Beweidung ein und erlaubten aus „Gnade und nicht in Folge eines Rechts“ die weitere Beweidung der Almen. 1828 wurde das Weiderecht in den staatlichen Waldungen mit Auflagen wieder eingeräumt, es besteht bis heute fort.