Das Gebiet von Mauthausen ist seit vielen Jahrtausenden besiedelt, wie archäologische Funde aus der Jungsteinzeit zeigen. Zur Zeit des Römischen Reiches lag es an der Kreuzung zweier Handelswege.
Am Ende des 10. Jahrhunderts wurde es zur Mautstation für Schiffe, und der Name „Muthusen“ für die Siedlung wird erstmals 1007 erwähnt.
Ein Dorf, das sich bis zum Dritten Kreuzzug entwickelt hatte, wurde am 16. Mai 1189 auf Befehl von Kaiser Friedrich Barbarossa niedergebrannt, als es auf dem Marsch nach Wien eine Steuer von seinem Heer erhob.
Während des Ersten Weltkriegs bestand östlich von Mauthausen ein Kriegsgefangenenlager. Dort waren italienische, serbische und russische Soldaten (zeitweise 40.000 Mann) inhaftiert, von denen etwa 10.000 im Lager starben, meist Serben und Italiener. Zu ihrem Gedenken existiert eine Kriegsgräberstätte. Das Gefängnis hatte vor allem Wärter aus Ungarn, die für ihre barbarischen Folterungen der Soldaten bekannt waren.
Während des Zweiten Weltkriegs, von 1938 bis 1945, wurde westlich der Stadt einer der ersten massiven Konzentrationslagerkomplexe in Nazi-Deutschland errichtet. Die Häftlinge waren barbarischen Bedingungen ausgesetzt, von denen die berüchtigtste darin bestand, dass sie gezwungen wurden, schwere Steinblöcke über 186 Stufen aus dem Steinbruch des Lagers zu tragen. Die Treppe wurde als „Stairway to Death“ bekannt.
Mauthausen erlebte 1954 und 2002 Überschwemmungen durch die Donau.