Okolice Mauthausen były zasiedlone przez wiele tysiącleci, o czym świadczą odkrycia archeologiczne sięgające epoki neolitu. W czasach Cesarstwa Rzymskiego znajdował się on na skrzyżowaniu dwóch szlaków handlowych.
Pod koniec X wieku stał się punktem poboru opłat (po niemiecku Maut) dla statków, a nazwa „Muthusen” dla osady jest po raz pierwszy wspomniana w 1007 roku.
Wieś, która rozwinęła się w czasie trzeciej wyprawy krzyżowej, została spalona 16 maja 1189 roku przez cesarza Fryderyka Barbarossę, gdy nałożyła podatek na jego armię maszerującą w kierunku Wiednia.
Podczas pierwszej wojny światowej na wschód od Mauthausen istniał obóz jeniecki. Więziono w nim żołnierzy włoskich, serbskich i rosyjskich (niekiedy 40.000 ludzi), z których około 10.000 zmarło w obozie, głównie Serbowie i Włosi. Ku ich pamięci istnieje cmentarz wojenny. W więzieniu pracowali zwłaszcza strażnicy z Węgier, którzy znani byli z barbarzyńskich tortur stosowanych wobec żołnierzy.
W czasie II wojny światowej, w latach 1938-1945, na zachód od miasta powstał jeden z pierwszych masowych kompleksów obozów koncentracyjnych w nazistowskich Niemczech. Więźniowie byli poddawani barbarzyńskim warunkom, z których najbardziej niesławnym było zmuszanie ich do noszenia ciężkich kamiennych bloków po 186 stopniach z obozowego kamieniołomu. Schody te stały się znane jako „Schody śmierci”.
Mauthausen doświadczyło powodzi z Dunaju w 1954 i 2002 r.
.