Mezvinsky creció en Ames, Iowa, hijo del propietario de una tienda de comestibles judía Abe Mezvinsky. Su padre nació en Rusia y su madre en Polonia. Fue un extremo de fútbol del estado y miembro de los equipos de baloncesto y atletismo del campeonato estatal de Ames High School en 1955.
Mezvinsky asistió a la Universidad de Iowa, donde se graduó en 1960. Posteriormente, obtuvo un máster en ciencias políticas en la Universidad de California, Berkeley, en 1963, y un doctorado en derecho en la Universidad de California, Hastings College of Law, en 1965. Regresó brevemente a Iowa para ejercer la abogacía, pero rápidamente inició una carrera política. En 1965, trabajó para el ex diputado Neal Smith en Washington en proyectos de ley sobre la divulgación de los grupos de presión y la ética. En 1968 fue elegido miembro de la Asamblea Legislativa de Iowa, donde atrajo la atención como defensor de los consumidores. En 1970 perdió la campaña para desbancar al congresista republicano Fred Schwengel en el primer distrito del Congreso de Iowa por sólo 765 votos (de más de 120.000 emitidos). Después de que la redistribución mejorara sus posibilidades, Mezvinsky ganó la revancha en 1972.
Durante su primer mandato en el Congreso, formó parte del Comité Judicial de la Cámara de Representantes y votó a favor de la destitución del presidente Richard Nixon por sus actividades en el escándalo Watergate. Fue uno de los ocho miembros demócratas de la comisión que votó a favor de los cinco artículos de impugnación redactados contra Nixon; tres fueron comunicados a la Cámara, mientras que dos fracasaron.
Aunque Mezvinsky derrotó al empresario de Davenport Jim Leach en 1974 inmediatamente después de las audiencias de impugnación, Leach le derrotó dos años después, en 1976. A los seis meses de su primer mandato en el Congreso, Mezvinsky se separó de la que había sido su esposa durante diez años, Myra Shulman; se divorciaron dos semanas después de su reelección en 1974. Durante su último mandato se casó con Marjorie Margolies, periodista de televisión. Tras su derrota en 1976, se trasladaron a los suburbios de Filadelfia. Tras su paso por el Congreso, Mezvinsky fue embajador de los Estados Unidos ante la Comisión de Derechos Humanos de las Naciones Unidas entre 1977 y 1979.
Mezvinsky buscó sin éxito la candidatura demócrata para el escaño del Senado de los Estados Unidos que ocupaba el republicano Richard Schweiker, ya retirado, en 1980, pero perdió ante el ex alcalde de Pittsburgh Pete Flaherty. Flaherty perdió las elecciones generales por un estrecho margen frente al republicano, más tarde demócrata, Arlen Specter, que llegó a cumplir cinco mandatos en el Senado.
Se convirtió en presidente del Partido Demócrata de Pensilvania, y se presentó como candidato a fiscal general del estado en 1988. Ganó las primarias demócratas, pero perdió ante el republicano Ernie Preate en las elecciones generales. También buscó sin éxito la nominación demócrata para vicegobernador en 1990, perdiendo ante el titular Mark Singel.