Mezvinsky cresceu em Ames, Iowa, o filho do dono de uma mercearia judaica, Abe Mezvinsky. O seu pai nasceu na Rússia e a sua mãe na Polónia. Foi membro do campeonato estadual de basquetebol e das equipas de atletismo da Ames High School de 1955.
Mezvinsky frequentou a Universidade de Iowa, formando-se em 1960. Obteve um mestrado em ciência política pela Universidade da Califórnia, Berkeley em 1963, e um J.D. pela Universidade da Califórnia, Hastings College of Law em 1965. Regressou brevemente a Iowa para exercer a advocacia, mas rapidamente iniciou uma carreira política. Em 1965, trabalhou para o ex-Rep. Neal Smith em Washington na divulgação de informações de lobby e em projectos de lei de ética. Foi eleito para a Legislatura do Iowa em 1968, onde atraiu publicidade como defensor dos consumidores. Perdeu uma campanha de 1970 para destituir o congressista republicano Fred Schwengel no 1º distrito congressional do Iowa por apenas 765 votos (dos mais de 120.000 votantes). Após a reeleição ter melhorado as suas hipóteses, Mezvinsky ganhou uma desforra em 1972.
Durante o seu primeiro mandato no Congresso, ele fez parte do Comité Judicial da Câmara e votou a favor do impeachment do Presidente Richard Nixon pelas suas actividades no escândalo Watergate. Foi um dos oito membros democratas do comité que votaram nos cinco artigos do impeachment redigidos contra Nixon; três foram comunicados à Câmara, enquanto dois falharam.
Embora Mezvinsky tenha derrotado o empresário Davenport Jim Leach em 1974, na sequência imediata das audiências do impeachment, Leach derrotou-o dois anos mais tarde, em 1976. Seis meses após o seu primeiro mandato no Congresso, Mezvinsky separou-se da sua esposa de Myra Shulman, de dez anos; divorciaram-se duas semanas após a sua reeleição de 1974. Durante o seu último mandato, casou com Marjorie Margolies, uma jornalista de televisão. Após a sua derrota em 1976, mudaram-se para a Filadélfia suburbana. Depois de servir no Congresso, Mezvinsky foi Embaixador dos Estados Unidos na Comissão dos Direitos Humanos das Nações Unidas de 1977-79.
Mezvinsky procurou sem sucesso a nomeação democrata para o lugar no Senado dos Estados Unidos, ocupado pelo republicano em funções Richard Schweiker em 1980, mas perdeu para o antigo Presidente da Câmara de Pittsburgh Pete Flaherty. Flaherty perdeu as eleições gerais por uma estreita margem para o republicano, mais tarde democrata Arlen Specter, que passou a cumprir cinco mandatos no Senado.
Ele tornou-se presidente do Partido Democrático da Pensilvânia, e candidatou-se a procurador-geral do estado em 1988. Ganhou as primárias democratas, mas perdeu para o republicano Ernie Preate nas eleições gerais. Também procurou sem sucesso a nomeação democrata para tenente-governador em 1990, perdendo para o actual Mark Singel.