Llegó a perder su ducado por su política teóricamente antifrancesa; en 1633, las tropas francesas invadieron Lorena en represalia por el apoyo de Carlos a Gastón de Orleans -que conspiró repetidamente contra el gobierno de Francia de Richelieu bajo el Luis XIII sin hijos y trató peligrosamente con sus enemigos como joven heredero presunto- y la política de Richelieu fue siempre anti-Habsburgo para aumentar la fuerza y el prestigio de Francia a costa de las dos dinastías. Gaston d’Orléans, se puso frecuentemente del lado de cualquiera de las ramas de los Habsburgo en contra de Richelieu, que gobernaba de facto Francia como su Ministro Principal, y tuvo que huir varias veces para evitar las acusaciones y el juicio por traición. Sus aliados y confederados solían pagar el precio de estas escapadas del joven e impetuoso heredero, y Carlos IV fue uno de ellos. En una visita a la corte ducal de Nancy, el viudo Gastón se enamoró de la hermana de 15 años de Carlos y se casó con ella en secreto, lo que enfureció tanto al rey que convocó al clero de Francia y al Parlamento de París para anular el matrimonio, dando su consentimiento sólo en su lecho de muerte.
En esa circunstancia y sentido, Carlos fue una víctima de las feroces luchas intestinas en la corte francesa entre el hermano del rey, Gastón de Orleans, y el cardenal Richelieu, aunque técnicamente, Lorena estaba sometida al Sacro Imperio Romano y al emperador Fernando II de Austria. Obligado a hacer humillantes concesiones a Francia, abdicó bajo la presión y la invasión francesa en 1634 en favor de su hermano, Nicolás Francisco, y entró al servicio imperial en la Guerra de los Treinta Años y salió victorioso en la batalla de Nördlingen. Poco después, también Nicolás Francisco huyó al exilio y abdicó de sus pretensiones, que ahora fueron retomadas por Carlos, que permaneció como duque de Lorena en el exilio durante el siguiente cuarto de siglo.
En 1651 Carlos IV fue abordado por una delegación irlandesa que buscaba su apoyo para defender Irlanda de la invasión del ejército parlamentario de Inglaterra. Los relatos tradicionales de las guerras cromwellianas suelen desestimar el llamamiento a Lorena como un acto de desesperación, pero recientemente un historiador ha argumentado que el duque apátrida estaba de hecho seriamente interesado en convertirse en el Protector de Irlanda. En el verano de 1652, varios barcos enviados por Carlos llegaron a la isla de Inishbofin con suministros, uno de los últimos reductos de los irlandeses. Desgraciadamente, Carlos tuvo que enfrentarse a una gran oposición por parte de los líderes irlandeses Clanricarde y Ormonde, ambos archirealistas leales a Carlos II de Inglaterra. Lorena llegó a la conclusión de que Irlanda había sido destruida por los celos de quienes deseaban su pérdida, que debían estar obligados para su recuperación a la protección de su dicha Alteza.
En 1661, los franceses se retiraron de Lorena, y Carlos pudo regresar al Ducado por primera vez. En 1670, el ducado fue ocupado de nuevo por los franceses bajo el mando del rey Luis XIV. Carlos sirvió en los ejércitos imperiales tanto en la Guerra de los Treinta Años como en la Guerra Franco-Holandesa (1672-1678), las cuales aseguraron el dominio francés en el continente.
En 1675 derrotó a François de Créquy en Konzer Brucke, y murió ese mismo año al servicio de Austria.
El ducado no fue devuelto a su familia hasta más de veinte años después.
A veces se le numera como Carlos III de Lorena.