Tijdens zijn diensttijd in het leger werd hij een scherpschutter. De kapitein overtuigde Fleming ervan een carrière als onderzoeker na te streven in plaats van als chirurg, zodat hij op de school kon blijven. Fleming werd onder de hoede genomen van Sir Almroth Wright, een pionier op het gebied van immunologie en vaccine-onderzoek. Fleming bleef zijn hele carrière bij deze onderzoeksgroep.
Als kapitein van het Medisch Korps van het Leger in de Eerste Wereldoorlog zag hij veel van zijn medesoldaten sterven ten gevolge van ongecontroleerde infecties. In die tijd werden antiseptica gebruikt die vaak meer kwaad dan goed deden. Fleming schreef een artikel over de anaërobe bacteriën die aanwezig waren in diepe wonden en die niet werden vernietigd door de antiseptica. Zijn onderzoek werd aanvankelijk niet aanvaard, maar hij ging door.
In 1922 ontdekte Fleming lysozym, een enzym met zwakke antibacteriële eigenschappen dat de groei van bacteriën remde. Hij vond lysozym ook in vingernagels, haar, speeksel, huid en tranen. In zijn onderzoek ontdekte Fleming dat lysozym slechts werkzaam was tegen een klein aantal niet-schadelijke bacteriën.
In 1928 begon hij onderzoek te doen naar veel voorkomende stafylokokkenbacteriën. Een onbedekt petrischaaltje bij een open raam raakte besmet met schimmel. Fleming realiseerde zich dat de bacteriën in de buurt van de schimmel aan het sterven waren. Hij isoleerde de schimmel en identificeerde deze als Penicillium genus, waarvan hij ontdekte dat het werkzaam was tegen alle Gram-positieve ziekteverwekkers. Gram-positieve ziekteverwekkers veroorzaken ziekten zoals difterie, gonorroe, meningitis, longontsteking en roodvonk. Fleming ontdekte dat het niet de schimmel zelf was, maar een “sap” dat hij had geproduceerd, dat de bacteriën had vernietigd. Hij noemde dit “schimmelsap” penicilline.
Later zei Fleming: “Toen ik op 28 september 1928 net na zonsopgang wakker werd, was ik zeker niet van plan om een revolutie in de geneeskunde teweeg te brengen door ’s werelds eerste antibioticum, of bacteriedoder, te ontdekken. Maar ik veronderstel dat dat precies was wat ik deed.”
In eerste instantie was de medische gemeenschap niet zo enthousiast over Fleming’s ontdekking van penicilline. Hij had ook moeite met het isoleren van grote hoeveelheden “schimmelsap”. In 1940, net toen Fleming op het punt stond met pensioen te gaan, raakten 2 collega-wetenschappers, Ernst Chain en Howard Florey, geïnteresseerd in penicilline. Al snel waren zij in staat om penicilline in grote hoeveelheden te produceren voor gebruik tijdens de Tweede Wereldoorlog.
Fleming ontving vele onderscheidingen, waaronder 30 eredoctoraten, en het meest in het oog springend, de Nobelprijs voor de Fysiologie/Medicijnen in 1945. Ook werd hij door Time Magazine uitgeroepen tot een van de belangrijkste mensen van de 20e eeuw.
In termen van zijn persoonlijke leven stond Fleming bekend als bescheiden, geduldig, stil, verlegen en emotieloos. Hij vermeed aandacht en was soms zelfs pijnlijk stil rond goede vrienden en zelfs zijn vrouw, Sarah Marion McElroy, een verpleegster. Fleming en zijn vrouw hadden een zoon, Robert, die huisarts werd. Toen zij na 34 jaar huwelijk overleed, had Fleming het erg moeilijk. Hij verloor zich in zijn werk en bracht het grootste deel van zijn tijd door achter gesloten deuren in het laboratorium. In 1953 trouwde Fleming met Dr. Amalia Koutsouri-Vourekas in een Griekse kerk in Londen.
Hij stierf thuis, aan coronaire trombose, in 1955, nadat hij wekenlang aan maagklachten had geleden.
Er werd gezegd dat Fleming “stierf zoals hij wenste: rustig, zonder een geleidelijke achteruitgang in fysieke of mentale capaciteit, en zelfs zonder zijn arts tot last te zijn.”