Mezvinsky groeide op in Ames, Iowa, als zoon van de Joodse kruidenier Abe Mezvinsky. Zijn vader was in Rusland geboren en zijn moeder in Polen. Hij was een all-state football end en lid van de Ames High School state championship basketbal en track teams van 1955.
Mezvinsky ging naar de Universiteit van Iowa, waar hij in 1960 afstudeerde. In 1963 behaalde hij een masters in politieke wetenschappen aan de University of California, Berkeley, en in 1965 een J.D. aan de University of California, Hastings College of Law. Hij keerde kort terug naar Iowa om advocaat te worden, maar begon al snel aan een politieke carrière. In 1965 werkte hij voor oud-afgevaardigde Neal Smith in Washington aan wetsvoorstellen inzake de openbaarmaking van lobbyisten en ethiek. In 1968 werd hij gekozen in de wetgevende macht van Iowa, waar hij bekendheid verwierf als voorvechter van de consument. In 1970 verloor hij een campagne om het Republikeinse Congreslid Fred Schwengel in het 1e congresdistrict van Iowa af te zetten met slechts 765 stemmen (van de meer dan 120.000 uitgebrachte stemmen). Nadat de herverdeling zijn kansen verbeterde, won Mezvinsky een herkansing in 1972.
Tijdens zijn eerste termijn in het Congres zat hij in de House Judiciary Committee en stemde hij voor de impeachment van President Richard Nixon voor zijn activiteiten in het Watergate schandaal. Hij was een van de acht Democratische leden van de commissie die voor alle vijf artikelen van beschuldiging tegen Nixon stemden; drie werden gerapporteerd aan het Huis, terwijl twee het niet haalden.
Hoewel Mezvinsky in 1974 de Davenport zakenman Jim Leach versloeg in de onmiddellijke nasleep van de beschuldigingshoorzittingen, versloeg Leach hem twee jaar later, in 1976. Zes maanden na zijn eerste termijn in het Congres scheidde Mezvinsky van zijn vrouw Myra Shulman; ze scheidden twee weken na zijn herverkiezing in 1974. Tijdens zijn laatste ambtstermijn trouwde hij met Marjorie Margolies, een televisie journaliste. Na zijn nederlaag in 1976 verhuisden ze naar de buitenwijken van Philadelphia. Na zijn tijd in het Congres was Mezvinsky ambassadeur van de Verenigde Staten bij de VN-Commissie voor de Rechten van de Mens van 1977-79.
Mezvinsky streefde zonder succes naar de Democratische nominatie voor de Senaatszetel van de aftredende Republikein Richard Schweiker in 1980, maar verloor die van de voormalige burgemeester van Pittsburgh, Pete Flaherty. Flaherty verloor de algemene verkiezingen nipt van de Republikein, later Democraat Arlen Specter, die vijf termijnen in de Senaat zou dienen.
Hij werd voorzitter van de Democratische Partij van Pennsylvania en stelde zich kandidaat voor de functie van procureur-generaal in 1988. Hij won de Democratische voorverkiezing, maar verloor van de Republikein Ernie Preate in de algemene verkiezingen. Hij probeerde ook zonder succes de Democratische nominatie voor luitenant-gouverneur in 1990, waarbij hij verloor van de zittende Mark Singel.