La zona di Mauthausen è stata abitata per molti millenni, come dimostrano le scoperte archeologiche risalenti al neolitico. Al tempo dell’impero romano, era al crocevia di due rotte commerciali.
Alla fine del X secolo divenne una stazione di pedaggio (Maut in tedesco) per le navi, e il nome “Muthusen” per l’insediamento è menzionato per la prima volta nel 1007.
Un villaggio che si era sviluppato durante la terza crociata fu ordinato di bruciare il 16 maggio 1189 dall’imperatore Federico Barbarossa quando riscosse una tassa sul suo esercito in marcia verso Vienna.
Durante la prima guerra mondiale, a est di Mauthausen esisteva un campo per prigionieri di guerra. Vi furono imprigionati soldati italiani, serbi e russi (a volte 40.000 uomini), di cui circa 10.000 morirono nel campo, soprattutto serbi e italiani. Un cimitero di guerra esiste in loro memoria. La prigione aveva soprattutto guardie ungheresi che erano note per le loro barbare torture sui soldati.
Durante la seconda guerra mondiale, dal 1938 al 1945, uno dei primi imponenti complessi di campi di concentramento della Germania nazista fu allestito a ovest della città. I detenuti erano sottoposti a condizioni barbare, la più infame delle quali era l’essere costretti a portare pesanti blocchi di pietra su per 186 gradini dalla cava del campo. I gradini divennero noti come la “Scala della morte”.
Mauthausen subì l’inondazione del Danubio nel 1954 e nel 2002.