Mezvinsky wuchs in Ames, Iowa, als Sohn des jüdischen Lebensmittelladenbesitzers Abe Mezvinsky auf. Sein Vater wurde in Russland und seine Mutter in Polen geboren. Er war ein All-State Football End und Mitglied der Ames High School State Championship Basketball- und Leichtathletik-Teams von 1955.
Mezvinsky besuchte die University of Iowa und machte 1960 seinen Abschluss. Danach erwarb er 1963 einen Master in Politikwissenschaften an der University of California, Berkeley, und 1965 einen J.D. an der University of California, Hastings College of Law. Er kehrte kurz nach Iowa zurück, um als Anwalt zu arbeiten, begann aber schnell eine politische Karriere. Im Jahr 1965 arbeitete er für den ehemaligen Abgeordneten Neal Smith in Washington an Gesetzen zur Offenlegung von Lobbyisten und zu ethischen Fragen. Er wurde 1968 in die Legislative von Iowa gewählt, wo er als Anwalt der Verbraucher auf sich aufmerksam machte. Im Jahr 1970 verlor er den Wahlkampf gegen den republikanischen Kongressabgeordneten Fred Schwengel im 1. Kongressbezirk von Iowa mit nur 765 Stimmen (von über 120.000 abgegebenen). Nachdem eine Neuaufteilung seine Chancen verbessert hatte, gewann Mezvinsky 1972 eine Neuauflage.
Während seiner ersten Amtszeit im Kongress saß er im Justizausschuss des Repräsentantenhauses und stimmte für die Amtsenthebung von Präsident Richard Nixon wegen seiner Aktivitäten im Watergate-Skandal. Er war eines von acht demokratischen Mitgliedern des Ausschusses, die für alle fünf Anklagepunkte gegen Nixon stimmten; drei wurden dem Repräsentantenhaus vorgelegt, zwei scheiterten.
Obwohl Mezvinsky den Davenport-Geschäftsmann Jim Leach 1974 unmittelbar nach den Anhörungen zur Anklageerhebung besiegte, besiegte Leach ihn zwei Jahre später, im Jahr 1976. Sechs Monate nach seiner ersten Amtszeit im Kongress trennte sich Mezvinsky von seiner zehnjährigen Ehefrau Myra Shulman; zwei Wochen nach seiner Wiederwahl 1974 wurde die Ehe geschieden. Während seiner letzten Amtszeit heiratete er Marjorie Margolies, eine Fernsehjournalistin. Nach seiner Niederlage 1976 zogen sie in einen Vorort von Philadelphia. Nach seiner Tätigkeit im Kongress war Mezvinsky von 1977-79 Botschafter der Vereinigten Staaten bei der Menschenrechtskommission der Vereinten Nationen.
Mezvinsky bewarb sich 1980 erfolglos um die Nominierung der Demokraten für den Sitz im US-Senat, den der scheidende Amtsinhaber, der Republikaner Richard Schweiker, innehatte, verlor aber gegen den ehemaligen Bürgermeister von Pittsburgh, Pete Flaherty. Flaherty verlor die Parlamentswahlen knapp gegen den Republikaner und späteren Demokraten Arlen Specter, der später fünf Amtszeiten im Senat verbrachte.
Er wurde Vorsitzender der Demokratischen Partei von Pennsylvania und kandidierte 1988 für das Amt des Generalstaatsanwalts. Er gewann die Vorwahlen der Demokraten, unterlag aber bei den Parlamentswahlen dem Republikaner Ernie Preate. Außerdem bewarb er sich 1990 erfolglos um die demokratische Nominierung zum Vizegouverneur und verlor gegen den Amtsinhaber Mark Singel.