Perderà il suo ducato a causa della sua politica notoriamente antifrancese; nel 1633, le truppe francesi invasero la Lorena come rappresaglia per il sostegno di Carlo a Gaston d’Orléans – che complottò ripetutamente contro il governo della Francia di Richelieu sotto il senza figli Luigi XIII e trattò pericolosamente con i suoi nemici come un giovane erede presunto – e la politica di Richelieu fu sempre anti-asburgica in modo da aumentare la forza e il prestigio della Francia a spese delle due dinastie. Gaston d’Orléans si schierò spesso con uno dei due rami della famiglia Asburgo contro Richelieu, che era de facto il governatore della Francia come suo capo ministro, e dovette fuggire diverse volte per evitare accuse e processi per tradimento. I suoi alleati e confederati generalmente sopportarono il prezzo di queste fughe del giovane e impetuoso erede e Carlo IV fu uno di questi. Durante una visita alla corte ducale di Nancy, il vedovo Gaston si innamorò della sorella quindicenne di Carlo e la sposò in segreto, cosa che fece infuriare così tanto il re che convocò il clero di Francia e il Parlamento di Parigi per annullare il matrimonio, dando il consenso solo sul letto di morte.
In questa circostanza e in questo senso, Carlo fu una vittima delle feroci lotte di fazione nella corte francese tra il fratello del re, Gaston d’Orléans, e il cardinale Richelieu, anche se tecnicamente la Lorena era soggetta al Sacro Romano Impero e all’imperatore Ferdinando II d’Austria. Costretto a fare umilianti concessioni alla Francia, abdicò sotto la pressione e l’invasione francese nel 1634 in favore di suo fratello, Nicola Francesco, ed entrò al servizio imperiale nella Guerra dei Trent’anni e fu vittorioso nella battaglia di Nördlingen. Poco dopo anche Nicola Francesco fuggì in esilio e abdicò alle sue pretese, che furono riprese ancora una volta da Carlo, che rimase duca di Lorena in esilio per il quarto di secolo successivo.
Nel 1651 Carlo IV fu avvicinato da una delegazione irlandese che cercava il suo appoggio per difendere l’Irlanda dall’invasione dell’esercito parlamentare inglese. I resoconti tradizionali delle guerre cromwelliane spesso liquidano l’appello ai Lorena come un atto di disperazione, ma recentemente uno storico ha sostenuto che il duca apolide era in realtà seriamente interessato a diventare il protettore dell’Irlanda. Nell’estate del 1652 alcune navi inviate da Carlo arrivarono all’isola di Inishbofin con i rifornimenti, una delle ultime roccaforti degli irlandesi. Sfortunatamente Carlo affrontò una grande opposizione da parte dei capi irlandesi Clanricarde e Ormonde, entrambi arcorealisti fedeli a Carlo II d’Inghilterra. Alla fine la Lorena concluse che l’Irlanda era stata distrutta dalla gelosia di coloro che desideravano perderla, piuttosto che essere obbligati per il suo recupero alla protezione di sua Altezza.
Nel 1661, i francesi si ritirarono dalla Lorena, e Carlo poté tornare per la prima volta nel ducato. Nel 1670, il ducato fu nuovamente occupato dai francesi sotto il re Luigi XIV. Carlo servì negli eserciti imperiali sia nella guerra dei trent’anni che nella guerra franco-olandese (1672-1678), entrambe le quali assicurarono il dominio francese sul continente.
Nel 1675 sconfisse François de Créquy a Konzer Brucke, e morì lo stesso anno al servizio dell’Austria.
Il ducato non fu restituito alla sua famiglia fino a più di vent’anni dopo.
E’ talvolta annoverato come Carlo III di Lorena.