Mezvinsky dorastał w Ames, w stanie Iowa, jako syn żydowskiego właściciela sklepu spożywczego Abe Mezvinsky’ego. Jego ojciec urodził się w Rosji, a matka w Polsce. Był członkiem mistrzowskiej drużyny koszykówki i toru w Ames High School w 1955 r.
Mezvinsky uczęszczał na Uniwersytet Iowa, który ukończył w 1960 roku. W 1963 r. uzyskał tytuł magistra nauk politycznych na Uniwersytecie Kalifornijskim w Berkeley, a w 1965 r. tytuł J.D. na Uniwersytecie Kalifornijskim w Hastings College of Law. Na krótko powrócił do Iowa, by praktykować prawo, ale szybko rozpoczął karierę polityczną. W 1965 r. pracował dla byłego posła Neala Smitha w Waszyngtonie nad projektami ustaw o ujawnieniu lobbystów i etyce. W 1968 r. został wybrany do Legislatury Iowa, gdzie zyskał rozgłos jako obrońca konsumentów. W 1970 r. przegrał kampanię o odsunięcie republikańskiego kongresmena Freda Schwengela w 1. okręgu kongresowym Iowa zaledwie 765 głosami (na ponad 120 tys. oddanych). Po zmianie podziału głosów jego szanse wzrosły, Mezvinsky wygrał rewanż w 1972 r.
Podczas swojej pierwszej kadencji w Kongresie zasiadał w Komisji Sądownictwa Izby i głosował za impeachmentem prezydenta Richarda Nixona za jego działalność w skandalu Watergate. Był jednym z ośmiu demokratycznych członków komisji, którzy głosowali za wszystkimi pięcioma artykułami oskarżenia przygotowanymi przeciwko Nixonowi; trzy z nich zostały przedstawione Izbie, podczas gdy dwa upadły.
Ale Mezvinsky pokonał biznesmena z Davenport Jima Leacha w 1974 roku w bezpośrednim następstwie przesłuchań w sprawie oskarżenia, Leach pokonał go dwa lata później, w 1976 roku. Sześć miesięcy po rozpoczęciu pierwszej kadencji w Kongresie Mezvinsky rozstał się ze swoją dziesięcioletnią żoną Myrą Shulman; rozwiedli się dwa tygodnie po reelekcji w 1974 roku. Podczas swojej ostatniej kadencji ożenił się z Marjorie Margolies, dziennikarką telewizyjną. Po porażce w 1976 r. przenieśli się na przedmieścia Filadelfii. Po zakończeniu pracy w Kongresie, Mezvinsky był ambasadorem Stanów Zjednoczonych w Komisji Praw Człowieka ONZ w latach 1977-79.
Mezvinsky bezskutecznie ubiegał się o nominację Demokratów na miejsce w Senacie Stanów Zjednoczonych zajmowane przez odchodzącego na emeryturę Republikanina Richarda Schweikera w 1980 roku, ale przegrał z byłym burmistrzem Pittsburgha Pete’em Flaherty. Flaherty przegrał w wyborach powszechnych niewielką różnicą głosów z Republikaninem, później Demokratą Arlenem Specterem, który zasiadł w Senacie na pięć kadencji.
Został przewodniczącym Partii Demokratycznej Pensylwanii, a w 1988 roku ubiegał się o stanowisko prokuratora generalnego. Wygrał demokratyczne prawybory, ale przegrał z republikaninem Ernie Preate w wyborach powszechnych. Bezskutecznie ubiegał się również o nominację demokratyczną na porucznika gubernatora w 1990 roku, przegrywając z urzędującym Markiem Singelem.