Il commente un dessin humoristique paru dans le New Yorker où le dessinateur, pour expliquer de mystérieux vols de poubelles qui venaient de se produire à New York, représente sur leur planète des extraterrestres tirant hors d'une soucoupe volante les poubelles. Fermi examine le cas d'une civilisation intéressée à la conquête de la Galaxie (quels qu'en soient les buts), et dotée de moyens techniques raisonnables, à la portée de la civilisation humaine de l'époque (Fermi étant le père de l'énergie nucléaire civile) : voyage intersidéral à une vitesse nettement inférieure à la vitesse de la lumière et colonisation d'une nouvelle planète pour la transformer en nouvelle base de départ, chaque cycle prenant quelques centaines ou milliers d'années et permettant d'avancer, par bonds successifs, plus loin dans l'espace de quelques dizaines d'années-lumière.

Sachant que la Voie lactée fait environ 50 000 années-lumière de rayon, une vitesse globale du front de colonisation de 1% de la vitesse de la lumière suffit à la coloniser entièrement en quelques millions d'années, ce qui est très peu par rapport à l'âge de la galaxie et au temps qu'il a fallu à la vie terrestre pour évoluer jusqu'à la civilisation humaine actuelle. Si des civilisations extraterrestres existent (L'équation de Drake tente de quantifier leur nombre en faisant intervenir de nombreuses variables par ailleurs toutes inconnues sauf une), la logique serait donc que ce phénomène se soit déjà produit, et même éventuellement plusieurs fois. Le paradoxe, c'est que nous n'en observons aucune trace.

Cette interrogation suite n'est mentionnée qu'en 1962 dans un court article de Carl Sagan, mais il n'y donne pas suite. En 1975, l'astrophysicien Michael H. Hart redécouvre les arguments de Fermi. Il soutient que le voyage interstellaire est possible à une civilisation technologiquement avancée et que sa migration doit gagner toute la Galaxie en quelques millions d'années. Ce laps de temps étant faible comparé à l'âge de la Voie Lactée, Hart conclut que l'absence de colonisation de la Terre signifie qu'il n'y a aucun extraterrestre. Cet article relance le débat dans la communauté scientifique et c'est à cette occasion que Carl Sagan baptise le « Paradoxe de Fermi » en 1976.