Il en est venu à perdre son duché en raison de sa politique notionnellement anti-française ; en 1633, les troupes françaises ont envahi la Lorraine en représailles du soutien de Charles à Gaston d’Orléans – qui a comploté à plusieurs reprises contre la gouvernance de la France par Richelieu sous Louis XIII sans enfant et traité dangereusement avec ses ennemis en tant que jeune héritier présomptif – et la politique de Richelieu a toujours été anti-Habsbourg de manière à accroître la force et le prestige de la France aux dépens des deux dynasties. Gaston d’Orléans se rangeait souvent du côté de l’une ou l’autre branche de la famille Habsbourg contre Richelieu, qui dirigeait de facto la France en tant que ministre principal, et dut fuir à plusieurs reprises pour éviter d’être accusé et jugé pour trahison. Ses alliés et confédérés font généralement les frais de ces escapades du jeune et impétueux héritier et Charles IV en fait partie. Lors d’une visite à la cour ducale de Nancy, le veuf Gaston s’éprend de la sœur de Charles, âgée de 15 ans, et l’épouse secrètement, ce qui rend le roi si furieux qu’il convoque le clergé de France et le Parlement de Paris pour annuler le mariage, ne donnant son consentement que sur son lit de mort.
Dans cette circonstance et en ce sens, Charles était une victime des féroces luttes intestines de factions à la cour de France entre le frère du roi, Gaston d’Orléans, et le cardinal de Richelieu, même si techniquement, la Lorraine était soumise au Saint-Empire romain germanique et à l’empereur Ferdinand II d’Autriche. Contraint de faire des concessions humiliantes à la France, il abdique sous la pression et l’invasion françaises en 1634 en faveur de son frère, Nicolas François, et entre au service impérial dans la guerre de Trente Ans et est victorieux à la bataille de Nördlingen. Peu après, Nicolas François s’enfuit lui aussi en exil et abdique ses prétentions, qui sont désormais reprises par Charles, qui reste duc de Lorraine en exil pendant le quart de siècle suivant.
En 1651, Charles IV est approché par une délégation irlandaise qui cherche son soutien pour défendre l’Irlande contre l’invasion de l’armée parlementaire d’Angleterre. Les récits traditionnels des guerres cromwelliennes rejettent souvent l’appel à Lorraine comme un acte de désespoir, mais récemment, un historien a soutenu que le duc apatride était en fait sérieusement intéressé à devenir le protecteur de l’Irlande. Au cours de l’été 1652, un certain nombre de navires envoyés par Charles arrivent avec des provisions sur l’île d’Inishbofin, l’un des derniers bastions des Irlandais. Malheureusement, Charles se heurta à une grande opposition de la part des chefs irlandais Clanricarde et Ormonde, qui étaient tous deux des archi-royalistes fidèles à Charles II d’Angleterre. La Lorraine finit par conclure que l’Irlande avait été détruite par la jalousie de ceux qui désiraient sa perte, qu’ils devaient être obligés pour son rétablissement à la protection de sa dite Altesse.
En 1661, les Français se retirent de la Lorraine, et Charles peut retourner dans le duché pour la première fois. En 1670, le duché est à nouveau occupé par les Français sous le roi Louis XIV. Charles sert dans les armées impériales lors de la guerre de Trente Ans et de la guerre franco-néerlandaise (1672-1678), qui assurent toutes deux la domination française sur le continent.
En 1675, il bat François de Créquy à Konzer Brucke, et meurt la même année au service de l’Autriche.
Le duché n’est restitué à sa famille que plus de vingt ans plus tard.
Il est parfois numéroté sous le nom de Charles III de Lorraine.