Podczas służby w wojsku został strzelcem wyborowym. Kapitan przekonał Fleminga, aby zamiast chirurgii zajął się karierą naukową, dzięki czemu mógł pozostać w szkole. Fleming trafił pod skrzydła Sir Almrotha Wrighta, pioniera w dziedzinie immunologii i badań nad szczepionkami. Fleming pozostał z tą grupą badawczą przez całą swoją karierę.
Jako kapitan Wojskowego Korpusu Medycznego podczas I wojny światowej był świadkiem śmierci wielu swoich kolegów żołnierzy w wyniku niekontrolowanych infekcji. W tym czasie stosowano antyseptyki, które często powodowały więcej szkody niż pożytku. Fleming napisał artykuł omawiający bakterie beztlenowe obecne w głębokich ranach, które nie były niszczone przez środki antyseptyczne. Jego badania nie zostały początkowo zaakceptowane, ale kontynuował je dalej.
W 1922 roku Fleming odkrył lizozym, enzym o słabych właściwościach antybakteryjnych, który hamował wzrost bakterii. Znalazł również lizozym w paznokciach, włosach, ślinie, skórze i łzach. W swoich badaniach Fleming stwierdził, że lizozym był skuteczny tylko przeciwko niewielkiej liczbie nieszkodliwych bakterii.
W 1928 roku rozpoczął badania nad popularnymi bakteriami gronkowca. Odkryta szalka Petriego znajdująca się w pobliżu otwartego okna została zanieczyszczona pleśnią. Fleming zdał sobie sprawę, że bakterie znajdujące się w pobliżu pleśni umierały. Wyizolował pleśń i zidentyfikował ją jako rodzaj Penicillium, który okazał się skuteczny przeciwko wszystkim Gram-dodatnim patogenom. Gram-dodatnie patogeny wywołują choroby, takie jak błonica, rzeżączka, zapalenie opon mózgowych, zapalenie płuc i szkarlatyna. Fleming odkrył, że to nie sama pleśń, ale wytworzony przez nią „sok” niszczył bakterie. Nazwał ten „sok z pleśni” penicyliną.
Później Fleming powiedział: „Kiedy obudziłem się tuż po świcie 28 września 1928 roku, z pewnością nie planowałem zrewolucjonizować całej medycyny poprzez odkrycie pierwszego na świecie antybiotyku, czyli środka bakteriobójczego. Ale przypuszczam, że właśnie to zrobiłem.”
Początkowo społeczność medyczna nie była tak entuzjastycznie nastawiona do odkrycia penicyliny przez Fleminga. Miał on również trudności z wyizolowaniem dużych ilości „soku pleśniowego”. W 1940 roku, kiedy Fleming miał przejść na emeryturę, penicyliną zainteresowało się dwóch kolegów naukowców, Ernst Chain i Howard Florey. Wkrótce byli oni w stanie masowo produkować penicylinę do użytku podczas II wojny światowej.
Fleming otrzymał wiele nagród, w tym 30 tytułów honorowych, a przede wszystkim Nagrodę Nobla w dziedzinie fizjologii/medycyny w 1945 roku. Został również uznany za jednego z najważniejszych ludzi XX wieku przez Time Magazine.
W zakresie życia osobistego Fleming był znany jako skromny, cierpliwy, cichy, nieśmiały i pozbawiony emocji. Unikał uwagi i był nawet czasami boleśnie cichy wokół bliskich przyjaciół, a nawet swojej żony, Sarah Marion McElroy, pielęgniarki. Fleming i jego żona mieli syna, Roberta, który został lekarzem ogólnym. Kiedy zmarła po 34 latach małżeństwa, Fleming przeżywał bardzo trudne chwile. Zatracił się w swojej pracy, spędzając większość czasu za zamkniętymi drzwiami w laboratorium. W 1953 roku Fleming ożenił się z dr Amalią Koutsouri-Vourekas w greckim kościele w Londynie.
Zmarł w domu, na zakrzepicę naczyń wieńcowych, w 1955 roku, po wielotygodniowych dolegliwościach żołądkowych.
Mówiono, że Fleming „umarł tak, jak chciał: spokojnie, bez stopniowego spadku sprawności fizycznej lub umysłowej, a nawet bez sprawiania kłopotu swojemu lekarzowi.”
Wydawnictwo „Fleming”, które w 1955 roku zostało opublikowane w Dzienniku Urzędowym.