Do utraty księstwa przyczyniła się jego antyfrancuska polityka; W 1633 r. wojska francuskie najechały Lotaryngię w odwecie za poparcie przez Karola Gastona d’Orleans, który wielokrotnie spiskował przeciwko rządom Richelieu we Francji pod rządami bezdzietnego Ludwika XIII i niebezpiecznie traktował jej wrogów jako młodego dziedzica – a polityka Richelieu była zawsze antyhabsburska, aby zwiększyć siłę i prestiż Francji kosztem obu dynastii. Gaston d’Orleans często stawał po stronie którejś z gałęzi rodu Habsburgów przeciwko Richelieu, który był faktycznym władcą Francji jako jej główny minister i kilkakrotnie musiał uciekać, by uniknąć oskarżeń i procesu o zdradę. Jego sprzymierzeńcy i konfederaci zazwyczaj ponosili cenę tych eskapad młodego i porywczego dziedzica, a Karol IV był jednym z nich. Podczas jednej z wizyt na książęcym dworze w Nancy owdowiały Gaston zakochał się w 15-letniej siostrze Karola i potajemnie się z nią ożenił, co tak rozwścieczyło króla, że zwołał duchowieństwo Francji i paryski parlament, aby unieważnić małżeństwo, wyrażając zgodę dopiero na łożu śmierci.
W tych okolicznościach i w tym sensie Karol był ofiarą ostrej walki frakcyjnej na francuskim dworze między bratem króla Gastonem d’Orleans a kardynałem Richelieu, mimo że technicznie Lotaryngia podlegała Świętemu Cesarstwu Rzymskiemu i cesarzowi Austrii Ferdynandowi II. Zmuszony do upokarzających ustępstw na rzecz Francji, abdykował pod jej naciskiem i inwazją w 1634 r. na rzecz swojego brata Mikołaja Franciszka, który wstąpił do służby cesarskiej w wojnie trzydziestoletniej i odniósł zwycięstwo w bitwie pod Nördlingen. Niedługo potem Mikołaj Franciszek również uciekł na wygnanie i abdykował ze swoich roszczeń, które teraz zostały ponownie podjęte przez Karola, który pozostał księciem Lotaryngii na wygnaniu przez następne ćwierć wieku.
W 1651 r. Karol IV został poproszony przez irlandzką delegację, która szukała jego wsparcia w obronie Irlandii przed inwazją angielskiej armii parlamentarzystów. Tradycyjne relacje z wojen Cromwellian często odrzucają apel do Lotaryngii jako akt desperacji, ale ostatnio jeden z historyków argumentował, że bezpaństwowy książę był w rzeczywistości poważnie zainteresowany zostaniem protektorem Irlandii. Latem 1652 roku kilka statków wysłanych przez Karola przybyło z zaopatrzeniem na wyspę Inishbofin, jedną z ostatnich twierdz Irlandczyków. Niestety Karol napotkał wielki opór ze strony irlandzkich przywódców Clanricarde’a i Ormonde’a, z których obaj byli arcy-królami lojalnymi wobec Karola II z Anglii. Lotaryngia w końcu doszła do wniosku, że Irlandia została zniszczona przez zazdrość tych, którzy pragnęli jej utraty, niż powinni być zobowiązani za jej odzyskanie do ochrony jego rzeczonej Wysokości.
W 1661 r. Francuzi wycofali się z Lotaryngii, a Karol mógł po raz pierwszy powrócić do księstwa. W 1670 r. księstwo zostało ponownie zajęte przez Francuzów pod wodzą króla Ludwika XIV. Karol służył w armii cesarskiej zarówno w wojnie trzydziestoletniej, jak i w wojnie francusko-holenderskiej (1672-1678), które zapewniły Francji dominację na kontynencie.
W 1675 r. pokonał François de Créquy pod Konzer Brucke i zmarł w tym samym roku w służbie austriackiej.
Księstwo zostało przywrócone jego rodzinie dopiero ponad dwadzieścia lat później.
Czasami jest wymieniany jako Karol III Lotaryński.
W latach 1675-1675 był w służbie austriackiej.