Hij raakte zijn hertogdom kwijt door zijn anti-Franse beleid; In 1633 vielen Franse troepen Lotharingen binnen als vergelding voor Karels steun aan Gaston d’Orléans, die herhaaldelijk samenzwoer tegen Richelieu’s bestuur van Frankrijk onder de kinderloze Lodewijk XIII en gevaarlijk omging met diens vijanden als jonge vermoedelijke erfgenaam. Richelieu’s beleid was altijd anti-Habsburgs om de kracht en het prestige van Frankrijk te vergroten ten koste van de twee dynastieën. Gaston d’Orléans koos vaak de kant van een van beide takken van de Habsburgse familie tegen Richelieu, die als eerste minister de facto heerser van Frankrijk was, en moest verschillende keren vluchten om te ontsnappen aan aanklachten en processen wegens landverraad. Zijn bondgenoten en confraters betaalden meestal de prijs voor deze escapades van de jonge en onstuimige erfgenaam en Karel IV was er zo een. Tijdens een bezoek aan het hertogelijke hof in Nancy werd de weduwe Gaston verliefd op Karels 15-jarige zuster en trouwde haar in het geheim, wat de koning zo woedend maakte dat hij de geestelijkheid van Frankrijk en het Parlement van Parijs bijeenriep om het huwelijk nietig te verklaren en pas op zijn sterfbed toestemming gaf.
In die omstandigheden en in die zin was Karel een slachtoffer van de hevige factiestrijd aan het Franse hof tussen de broer van de koning, Gaston d’Orléans, en kardinaal Richelieu, ook al was Lotharingen technisch gezien onderworpen aan het Heilige Roomse Rijk en keizer Ferdinand II van Oostenrijk. Gedwongen om vernederende concessies aan Frankrijk te doen, deed hij onder de Franse druk en invasie in 1634 afstand van de troon ten gunste van zijn broer, Nicolaas Franciscus, en trad in keizerlijke dienst in de Dertigjarige Oorlog en zegevierde in de Slag bij Nördlingen. Kort daarna vluchtte ook Nicolaas Franciscus in ballingschap en deed afstand van zijn aanspraken, die nu weer werden opgeëist door Karel, die de volgende kwart eeuw hertog van Lotharingen in ballingschap bleef.
In 1651 werd Karel IV benaderd door een Ierse delegatie die zijn steun zocht om Ierland te verdedigen tegen de invasie van het parlementaire leger van Engeland. Traditionele verslagen van de Cromwelliaanse oorlogen doen het beroep op Lotharingen vaak af als een wanhoopsdaad, maar onlangs heeft een historicus betoogd dat de staatloze hertog in feite serieus geïnteresseerd was om beschermheer van Ierland te worden. In de zomer van 1652 kwamen een aantal door Karel gezonden schepen met voorraden aan op het eiland Inishbofin, een van de laatste bolwerken van de Ieren. Helaas ondervond Karel grote tegenstand van de Ierse leiders Clanricarde en Ormonde, die beide aarts-royalisten waren en trouw bleven aan Karel II van Engeland. Lotharingen concludeerde uiteindelijk dat Ierland was vernietigd door de jaloezie van hen die het verlies ervan wensten, dan dat zij voor het herstel ervan moesten worden verplicht tot de bescherming van zijne genoemde Hoogheid.
In 1661 trokken de Fransen zich terug uit Lotharingen, en kon Karel voor het eerst naar het hertogdom terugkeren. In 1670 werd het hertogdom opnieuw bezet door de Fransen onder koning Lodewijk XIV. Karel diende in de keizerlijke legers in zowel de Dertigjarige Oorlog als de Frans-Nederlandse Oorlog (1672-1678), die beide de Franse overheersing op het continent veiligstelden.
In 1675 versloeg hij François de Créquy bij Konzer Brucke, en stierf hetzelfde jaar in Oostenrijkse dienst.
Het hertogdom werd pas meer dan twintig jaar later aan zijn familie teruggegeven.
Hij wordt soms genummerd als Karel III van Lotharingen.