Ele veio a perder o seu ducado por causa da sua política anti-francesa nocional; em 1633, as tropas francesas invadiram Lorena em retaliação ao apoio de Carlos a Gaston d’Orléans – que conspirou repetidamente contra a governação de França de Richelieu sob o governo sem filhos de Luís XIII e tratou perigosamente com os seus inimigos como um jovem herdeiro presunçoso – e as políticas de Richelieu foram sempre anti-Habsburg, de modo a aumentar a força e o prestígio da França à custa das duas dinastias. Gaston d’Orléans, frequentemente ao lado de qualquer um dos ramos da família Habsburg contra Richelieu, que era governante de facto da França como seu ministro chefe, e teve de fugir várias vezes para evitar acusações e julgamento por traição. Os seus aliados e confederados suportaram geralmente o preço destas escapadelas por parte do jovem e impetuoso herdeiro e Carlos IV era um deles. Numa visita à corte ducal em Nancy, o viúvo Gaston apaixonou-se pela irmã de 15 anos de Carlos e casou secretamente com ela, o que enfureceu tanto o rei que ele convocou o clero de França e o Parlamento de Paris para anular o casamento, dando o seu consentimento apenas no seu leito de morte.
Nessa circunstância e sentido, Carlos foi uma vítima das ferozes lutas internas na corte francesa entre o irmão do Rei Gaston d’Orléans, e o Cardeal Richelieu, embora tecnicamente, Lorena estivesse sujeita ao Sacro Império Romano e ao Imperador Fernando II da Áustria. Forçado a fazer concessões humilhantes à França, abdicou sob a pressão e invasão francesa em 1634 a favor do seu irmão, Nicolau Francisco, e entrou no serviço imperial na Guerra dos Trinta Anos e foi vitorioso na Batalha de Nördlingen. Pouco depois, Nicholas Francis também fugiu para o exílio e abdicou das suas reivindicações, que foram agora retomadas por Carlos, que permaneceu Duque de Lorena no exílio durante o quarto de século seguinte.
Em 1651, Carlos IV foi abordado por uma delegação irlandesa que procurava o seu apoio para defender a Irlanda da invasão do exército parlamentar de Inglaterra. Os relatos tradicionais das guerras Cromwellianas rejeitam frequentemente o apelo a Lorena como um acto de desespero, mas recentemente um historiador argumentou que o Duque apátrida estava de facto seriamente interessado em tornar-se o Protector da Irlanda. No Verão de 1652, vários navios enviados por Carlos chegaram à ilha de Inishbofin com provisões, um dos últimos bastiões dos irlandeses. Infelizmente Carlos enfrentou grande oposição por parte dos líderes irlandeses Clanricarde e Ormonde, ambos arqui-royalistas fiéis a Carlos II de Inglaterra. Lorraine acabou por concluir que a Irlanda tinha sido destruída pelo ciúme daqueles que desejavam a sua perda, do que deveriam ser obrigados pela sua recuperação à protecção da sua dita Alteza.
Em 1661, os franceses retiraram-se de Lorraine, e Carlos pôde regressar ao Ducado pela primeira vez. Em 1670, o Ducado foi novamente ocupado pelos franceses sob o reinado do rei Luís XIV. Carlos serviu nos exércitos Imperiais tanto na Guerra dos Trinta Anos como na Guerra Franco-Holandesa (1672-1678), ambas assegurando o domínio francês no Continente.
Em 1675 derrotou François de Créquy em Konzer Brucke, e morreu no mesmo ano no serviço austríaco.
O ducado só foi restaurado à sua família mais de vinte anos mais tarde.
Ele é por vezes contado como Carlos III de Lorena.