Mientras servía en el ejército, se convirtió en tirador. El capitán convenció a Fleming para que siguiera la carrera de investigación en lugar de la de cirujano, de modo que pudiera permanecer en la escuela. Fleming fue tomado bajo el ala de Sir Almroth Wright, un pionero en la investigación de la inmunología y las vacunas. Fleming permaneció en este grupo de investigación durante toda su carrera.
Como capitán del Cuerpo Médico del Ejército en la Primera Guerra Mundial, fue testigo de la muerte de muchos de sus compañeros como consecuencia de una infección incontrolada. En aquella época se utilizaban antisépticos que a menudo causaban más daño que beneficio. Fleming escribió un artículo sobre las bacterias anaerobias presentes en las heridas profundas, que no eran destruidas por los antisépticos. Su investigación no fue aceptada inicialmente, pero siguió adelante.
En 1922, Fleming descubrió la lisozima, una enzima con débiles propiedades antibacterianas que inhibía el crecimiento bacteriano. También encontró lisozima en las uñas, el pelo, la saliva, la piel y las lágrimas. En sus investigaciones, Fleming descubrió que la lisozima sólo era eficaz contra un pequeño número de bacterias no dañinas.
En 1928, comenzó a investigar las bacterias estafilocócicas comunes. Una placa de Petri descubierta cerca de una ventana abierta se contaminó con moho. Fleming se dio cuenta de que las bacterias cercanas al moho estaban muriendo. Aisló el moho y lo identificó como el género Penicillium, que descubrió que era eficaz contra todos los patógenos Gram-positivos. Los patógenos Gram-positivos causan enfermedades como la difteria, la gonorrea, la meningitis, la neumonía y la escarlatina. Fleming descubrió que no era el moho en sí, sino un «jugo» que había producido, lo que había destruido las bacterias. Llamó a este «jugo de moho» penicilina.
Más tarde, Fleming dijo: «Cuando me desperté justo después del amanecer del 28 de septiembre de 1928, ciertamente no planeaba revolucionar toda la medicina descubriendo el primer antibiótico del mundo, o asesino de bacterias. Pero supongo que eso fue exactamente lo que hice»
Al principio, la comunidad médica no estaba tan entusiasmada con el descubrimiento de la penicilina de Fleming. También tuvo dificultades para aislar grandes cantidades de «jugo de moho». En 1940, justo cuando Fleming estaba a punto de jubilarse, dos compañeros científicos, Ernst Chain y Howard Florey, se interesaron por la penicilina. Pronto pudieron producir en masa penicilina para utilizarla durante la Segunda Guerra Mundial.
Fleming recibió muchos premios, entre ellos 30 títulos honoríficos y, sobre todo, el Premio Nobel de Fisiología/Medicina en 1945. También fue nombrado una de las personas más importantes del siglo XX por la revista Time.
En cuanto a su vida personal, Fleming era conocido como modesto, paciente, callado, tímido y poco emotivo. Evitaba la atención e incluso a veces era dolorosamente silencioso con sus amigos cercanos e incluso con su esposa, Sarah Marion McElroy, una enfermera. Fleming y su esposa tuvieron un hijo, Robert, que se convirtió en médico generalista. Cuando ella falleció tras 34 años de matrimonio, Fleming lo pasó muy mal. Se perdió en su trabajo, pasando la mayor parte del tiempo a puerta cerrada en el laboratorio. En 1953, Fleming se casó con la doctora Amalia Koutsouri-Vourekas en una iglesia griega de Londres.
Murió en su casa, de una trombosis coronaria, en 1955, después de sufrir un malestar estomacal durante semanas.
Se dijo que Fleming «murió como deseaba: tranquilamente, sin un declive gradual de su capacidad física o mental, e incluso sin incomodar a su médico».