Het gebied van Mauthausen is al vele millennia bewoond, zoals blijkt uit archeologische vondsten die teruggaan tot het Neolithicum. In de tijd van het Romeinse Rijk lag het op het kruispunt van twee handelsroutes.
Aan het einde van de 10e eeuw werd het een tolstation (Maut in het Duits) voor schepen, en de naam “Muthusen” voor de nederzetting wordt voor het eerst genoemd in 1007.
Een dorp dat tijdens de Derde Kruistocht was ontstaan, werd op 16 mei 1189 door keizer Frederik Barbarossa in brand gestoken toen het een belasting hief op zijn leger dat oprukte naar Wenen.
Tijdens de Eerste Wereldoorlog bestond er ten oosten van Mauthausen een krijgsgevangenenkamp. Italiaanse, Servische en Russische (soms 40.000 man) soldaten werden er gevangen gehouden. Ongeveer 10.000 van hen stierven in het kamp, voornamelijk Serviërs en Italianen. Ter hun nagedachtenis bestaat er een oorlogsbegraafplaats. De gevangenis had vooral bewakers uit Hongarije, die bekend stonden om hun barbaarse martelingen van de soldaten.
Tijdens de Tweede Wereldoorlog, van 1938 tot 1945, werd ten westen van de stad een van de eerste massale concentratiekampcomplexen van nazi-Duitsland opgezet. De gevangenen werden onderworpen aan barbaarse omstandigheden, waarvan de beruchtste was dat ze gedwongen werden om zware stenen blokken van de kampgroeve 186 treden op te dragen. De trappen werden bekend als de “trap naar de dood”.
Mauthausen werd in 1954 en 2002 getroffen door overstromingen van de rivier de Donau.