La zona de Mauthausen ha estado poblada durante muchos milenios, como demuestran los descubrimientos arqueológicos que se remontan al Neolítico. En la época del Imperio Romano, se encontraba en el cruce de dos rutas comerciales.
A finales del siglo X se convirtió en una estación de peaje (Maut en alemán) para los barcos, y el nombre «Muthusen» para el asentamiento se menciona por primera vez en 1007.
El 16 de mayo de 1189, el emperador Federico Barbarroja ordenó la quema de un pueblo que se había desarrollado durante la Tercera Cruzada al cobrar un impuesto a su ejército cuando marchaba hacia Viena.
Durante la Primera Guerra Mundial, al este de Mauthausen existió un campo de prisioneros de guerra. Allí fueron encarcelados soldados italianos, serbios y rusos (a veces 40.000 hombres), de los cuales unos 10.000 murieron en el campo, la mayoría serbios e italianos. Existe un cementerio de guerra en su memoria. La prisión contaba especialmente con guardias de Hungría que eran conocidos por sus bárbaras torturas a los soldados.
Durante la Segunda Guerra Mundial, de 1938 a 1945, se instaló al oeste de la ciudad uno de los primeros complejos masivos de campos de concentración de la Alemania nazi. Los presos eran sometidos a condiciones bárbaras, la más infame de las cuales era ser obligados a cargar con pesados bloques de piedra por 186 escalones desde la cantera del campo. Los escalones se conocieron como la «Escalera de la Muerte».
Mauthausen sufrió las inundaciones del río Danubio en 1954 y 2002.