Er verlor sein Herzogtum wegen seiner ausgesprochen antifranzösischen Politik; 1633 marschierten französische Truppen in Lothringen ein, als Vergeltung für Karls Unterstützung von Gaston d’Orléans – der wiederholt gegen Richelieus Herrschaft über Frankreich unter dem kinderlosen Ludwig XIII. intrigierte und sich als junger Thronfolger gefährlich mit dessen Feinden anlegte – und Richelieus Politik war immer antihabsburgisch, um die Stärke und das Prestige Frankreichs auf Kosten der beiden Dynastien zu erhöhen. Gaston d’Orléans stellte sich häufig auf die Seite eines der beiden Zweige der habsburgischen Familie gegen Richelieu, der als oberster Minister de facto Herrscher über Frankreich war, und musste mehrmals fliehen, um einer Anklage und einem Prozess wegen Hochverrats zu entgehen. Seine Verbündeten und Konföderierten trugen in der Regel den Preis für diese Eskapaden des jungen und ungestümen Erben, und Karl IV. war einer von ihnen. Bei einem Besuch am herzoglichen Hof in Nancy verliebte sich der verwitwete Gaston in Karls 15-jährige Schwester und heiratete sie heimlich, was den König so erzürnte, dass er den französischen Klerus und das Parlement von Paris einberief, um die Ehe für ungültig zu erklären, und erst auf seinem Sterbebett seine Zustimmung gab.
In diesem Umstand und in diesem Sinne war Karl ein Opfer der heftigen Fraktionskämpfe am französischen Hof zwischen dem Bruder des Königs, Gaston d’Orléans, und Kardinal Richelieu, obwohl Lothringen technisch gesehen dem Heiligen Römischen Reich und dem Kaiser Ferdinand II. von Österreich unterstellt war. Zu demütigenden Zugeständnissen an Frankreich gezwungen, dankte er unter dem französischen Druck und Einmarsch 1634 zugunsten seines Bruders Nikolaus Franz ab, trat in den kaiserlichen Dienst im Dreißigjährigen Krieg und siegte in der Schlacht bei Nördlingen. Kurz darauf floh auch Nikolaus Franz ins Exil und verzichtete auf seine Ansprüche, die nun wieder von Karl übernommen wurden, der für das nächste Vierteljahrhundert Herzog von Lothringen im Exil blieb.
Im Jahr 1651 wurde Karl IV. von einer irischen Delegation angesprochen, die seine Unterstützung bei der Verteidigung Irlands gegen den Einmarsch der parlamentarischen Armee Englands suchte. Traditionelle Darstellungen der Cromwell’schen Kriege tun den Appell an Lothringen oft als Verzweiflungstat ab, aber kürzlich hat ein Historiker argumentiert, dass der staatenlose Herzog tatsächlich ernsthaft daran interessiert war, der Protektor von Irland zu werden. Im Sommer 1652 erreichten einige von Karl ausgesandte Schiffe mit Nachschub die Insel Inishbofin, eine der letzten Hochburgen der Iren. Leider stieß Charles auf großen Widerstand seitens der irischen Anführer Clanricarde und Ormonde, die beide erzkönigliche Loyalisten gegenüber Karl II. von England waren. Lothringen kam schließlich zu dem Schluss, dass Irland durch die Eifersucht derer zerstört worden sei, die den Verlust desselben wünschten, als dass sie für seine Wiedergewinnung dem Schutz seiner besagten Hoheit verpflichtet sein sollten.
Im Jahr 1661 zogen sich die Franzosen aus Lothringen zurück, und Karl konnte erstmals in das Herzogtum zurückkehren. Im Jahr 1670 wurde das Herzogtum erneut von den Franzosen unter König Ludwig XIV. besetzt. Karl diente in den kaiserlichen Armeen sowohl im Dreißigjährigen Krieg als auch im Französisch-Niederländischen Krieg (1672-1678), die beide die französische Vorherrschaft auf dem Kontinent sicherten.
Im Jahr 1675 besiegte er François de Créquy bei Konzer Brucke und starb noch im selben Jahr in österreichischen Diensten.
Das Herzogtum wurde erst mehr als zwanzig Jahre später an seine Familie zurückgegeben.
Er wird manchmal als Karl III. von Lothringen gezählt.