La région de Mauthausen est peuplée depuis plusieurs millénaires, comme le montrent des découvertes archéologiques remontant au néolithique. À l’époque de l’Empire romain, elle se trouvait au carrefour de deux routes commerciales.
À la fin du Xe siècle, elle est devenue une station de péage (Maut en allemand) pour les navires, et le nom « Muthusen » pour l’établissement est mentionné pour la première fois en 1007.
Un village qui s’était développé par la troisième croisade a reçu l’ordre d’être brûlé le 16 mai 1189 par l’empereur Frédéric Barberousse lorsqu’il a prélevé une taxe sur son armée alors qu’elle marchait vers Vienne.
Pendant la Première Guerre mondiale, un camp de prisonniers de guerre existait à l’est de Mauthausen. Des soldats italiens, serbes et russes (parfois 40 000 hommes) y ont été emprisonnés, dont environ 10 000 sont morts dans le camp, principalement des Serbes et des Italiens. Un cimetière de guerre existe en leur mémoire. La prison comptait surtout des gardes venus de Hongrie qui étaient connus pour leurs tortures barbares sur les soldats.
Pendant la Seconde Guerre mondiale, de 1938 à 1945, l’un des premiers complexes massifs de camps de concentration de l’Allemagne nazie a été installé à l’ouest de la ville. Les détenus étaient soumis à des conditions barbares, dont la plus infâme était d’être obligés de porter de lourds blocs de pierre en montant 186 marches depuis la carrière du camp. Ces marches sont devenues connues sous le nom d' »Escalier de la mort ».
Mauthausen a connu des inondations du Danube en 1954 et en 2002.