A área de Mauthausen foi colonizada durante muitos milénios, como demonstram as descobertas arqueológicas que remontam à era Neolítica. Durante a época do Império Romano, foi no cruzamento de duas rotas comerciais.
No final do século X tornou-se uma estação de portagem (Maut em alemão) para navios, e o nome “Muthusen” para o povoado é mencionado pela primeira vez em 1007.
Uma aldeia que se tinha desenvolvido pela Terceira Cruzada foi mandada queimar a 16 de Maio de 1189 pelo Imperador Frederick Barbarossa quando este cobrou um imposto sobre o seu exército quando marchava em direcção a Viena.
Durante a Primeira Guerra Mundial, existiu um campo de prisioneiros de guerra a leste de Mauthausen. Ali foram presos soldados italianos, sérvios e russos (por vezes 40.000 homens), dos quais cerca de 10.000 morreram no campo, na sua maioria sérvios e italianos. Existe um cemitério de guerra na sua memória. A prisão tinha especialmente guardas da Hungria que eram conhecidos pelas suas torturas bárbaras dos soldados.
Durante a Segunda Guerra Mundial, de 1938 a 1945, um dos primeiros complexos de campos de concentração maciços na Alemanha nazi foi instalado a oeste da cidade. Os reclusos foram sujeitos a condições bárbaras, sendo os mais infames obrigados a carregar pesados blocos de pedra a 186 degraus da pedreira do campo. Os degraus ficaram conhecidos como a “Escada para a Morte”.
Mauthausen sofreu inundações do rio Danúbio em 1954 e 2002.