Mezvinsky a grandi à Ames, dans l’Iowa, fils du propriétaire d’une épicerie juive Abe Mezvinsky. Son père est né en Russie et sa mère en Pologne. Il était un end football all-state et membre des équipes de basket-ball et d’athlétisme championnes d’État de l’Ames High School en 1955.
Mezvinsky a fréquenté l’Université de l’Iowa, où il a obtenu son diplôme en 1960. Il a ensuite obtenu une maîtrise en sciences politiques de l’Université de Californie, Berkeley en 1963, et un J.D. de l’Université de Californie, Hastings College of Law en 1965. Il retourne brièvement dans l’Iowa pour pratiquer le droit, mais entame rapidement une carrière politique. En 1965, il travaille pour l’ancien représentant Neal Smith à Washington sur des projets de loi relatifs à la divulgation de l’identité des lobbyistes et à l’éthique. Il est élu à l’assemblée législative de l’Iowa en 1968, où il se fait connaître en tant que défenseur des consommateurs. En 1970, il perd la campagne visant à détrôner le membre républicain du Congrès Fred Schwengel dans le premier district du Congrès de l’Iowa par 765 voix seulement (sur plus de 120 000 votes). Après une nouvelle répartition des sièges qui a amélioré ses chances, Mezvinsky a remporté une nouvelle confrontation en 1972.
Pendant son premier mandat au Congrès, il a siégé à la commission judiciaire de la Chambre et a voté pour la mise en accusation du président Richard Nixon pour ses activités dans le scandale du Watergate. Il était l’un des huit membres démocrates de la commission qui ont voté pour les cinq articles de mise en accusation rédigés contre Nixon ; trois ont été rapportés à la Chambre, tandis que deux ont échoué.
Bien que Mezvinsky ait battu l’homme d’affaires de Davenport, Jim Leach, en 1974, au lendemain des audiences de mise en accusation, Leach l’a battu deux ans plus tard, en 1976. Six mois après son premier mandat au Congrès, Mezvinsky se sépare de sa femme depuis dix ans, Myra Shulman ; ils divorcent deux semaines après sa réélection en 1974. Au cours de son dernier mandat, il épouse Marjorie Margolies, une journaliste de télévision. Après sa défaite de 1976, ils s’installent dans la banlieue de Philadelphie. Après avoir servi au Congrès, Mezvinsky a été ambassadeur des États-Unis auprès de la Commission des droits de l’homme des Nations unies de 1977 à 1979.
Mezvinsky a cherché sans succès la nomination démocrate pour le siège du Sénat des États-Unis occupé par le républicain sortant Richard Schweiker en 1980, mais a perdu contre l’ancien maire de Pittsburgh Pete Flaherty. Flaherty a perdu l’élection générale par une marge étroite face au républicain, puis au démocrate Arlen Specter, qui a ensuite servi cinq mandats au Sénat.
Il est devenu président du Parti démocrate de Pennsylvanie, et a fait une course pour le procureur général de l’État en 1988. Il remporte la primaire démocrate, mais perd contre le républicain Ernie Preate lors de l’élection générale. Il a également cherché sans succès à obtenir la nomination démocrate pour le poste de lieutenant-gouverneur en 1990, perdant face au titulaire Mark Singel.