Mezvinsky è cresciuto ad Ames, Iowa, figlio del proprietario ebreo di un negozio di alimentari Abe Mezvinsky. Suo padre era nato in Russia e sua madre in Polonia. È stato un all-state football end e membro del campionato statale di basket e delle squadre di atletica della Ames High School nel 1955.
Mezvinsky ha frequentato l’Università dell’Iowa, laureandosi nel 1960. Ha poi conseguito un master in scienze politiche presso l’Università della California, Berkeley nel 1963, e un dottorato presso l’Università della California, Hastings College of Law nel 1965. Tornò brevemente in Iowa per praticare la legge, ma iniziò rapidamente una carriera politica. Nel 1965, ha lavorato per l’ex rappresentante Neal Smith a Washington sulla divulgazione dei lobbisti e sulle leggi di etica. È stato eletto alla legislatura dell’Iowa nel 1968, dove ha attirato pubblicità come difensore dei consumatori. Perse una campagna nel 1970 per spodestare il deputato repubblicano Fred Schwengel nel primo distretto congressuale dell’Iowa per soli 765 voti (su oltre 120.000 espressi). Dopo che il riapprovvigionamento ha migliorato le sue possibilità, Mezvinsky ha vinto una rivincita nel 1972.
Durante il suo primo mandato al Congresso, ha fatto parte della commissione giudiziaria della Camera e ha votato per l’impeachment del presidente Richard Nixon per le sue attività nello scandalo Watergate. Fu uno degli otto membri democratici della commissione che votò per tutti e cinque gli articoli di impeachment redatti contro Nixon; tre furono riportati alla Camera, mentre due fallirono.
Anche se Mezvinsky sconfisse l’uomo d’affari di Davenport Jim Leach nel 1974, subito dopo le udienze di impeachment, Leach lo sconfisse due anni dopo, nel 1976. Sei mesi dopo il suo primo mandato al Congresso, Mezvinsky si separò dalla moglie di dieci anni Myra Shulman; divorziarono due settimane dopo la sua rielezione del 1974. Durante il suo ultimo mandato sposò Marjorie Margolies, una giornalista televisiva. Dopo la sua sconfitta del 1976, si trasferirono nella periferia di Philadelphia. Dopo aver prestato servizio al Congresso, Mezvinsky fu ambasciatore degli Stati Uniti alla Commissione delle Nazioni Unite per i diritti umani dal 1977-79.
Mezvinsky cercò senza successo la candidatura democratica per il seggio al Senato degli Stati Uniti tenuto dal repubblicano in carica Richard Schweiker nel 1980, ma perse contro l’ex sindaco di Pittsburgh Pete Flaherty. Flaherty ha perso l’elezione generale con un margine ristretto contro il repubblicano, poi democratico Arlen Specter, che ha continuato a servire cinque termini nel Senato.
È diventato presidente del Partito Democratico della Pennsylvania e ha fatto una corsa per il procuratore generale dello stato nel 1988. Ha vinto le primarie democratiche, ma ha perso contro il repubblicano Ernie Preate nelle elezioni generali. Ha anche cercato senza successo la candidatura democratica a vice governatore nel 1990, perdendo contro l’attuale Mark Singel.