Les deux états du Yémen possèdent un passé historique similaire et cette région a longtemps été le creuset de cultures anciennes.
L'islam est, depuis le milieu du VIIe siècle, la religion la plus répandue.
Au fil des siècles, les différents imams du Yémen - chefs religieux et politiques - mirent en place toute une série de monarchies théocratiques. La dynastie d'Alid Zaydi fut fondée vers la fin du IXe siècle. Aden a longtemps été la principale ville portuaire. Dirigée par les turcs ottomans au XVIe et au XVIIe siècle, puis par des chefs locaux, la ville se rendit aux forces navales britanniques en 1839.
La dernière nation étrangère à exercer son autorité sur Aden fut l'Empire Ottoman qui finit, avant sa chute, par lui accorder son indépendance en 1918. Aden devint une colonie britannique en 1937.
Les sultanats et les émirats avoisinants furent collectivement regroupés au sein du Protectorat d'Aden après la signature de traités avec l'Angleterre. Six d'entre eux fondèrent en 1962, la Fédération des Emirats arabes du Sud. Aden les y rejoignit en 1963. Durant cette période, une violente opposition éclata entre les nationalistes et le gouvernement britannique. La république communiste fut rebaptisée République Démocratique Populaire du Yémen en 1970 et constitue l'unique état marxiste du monde arabe.
Le Yémen commerce avec l'Egypte depuis le début du XIVe siècle avant J.-C.
Le royaume biblique de Sheba connut son apogée au I siècle avant J.-C.
En 1945, le Yémen contribua à la formation de la ligue arabe. Le dernier imam à exercer le pouvoir fut destitué en 1962 et le Yémen fut alors proclamé république.
Une guerre civile éclata et se poursuivit jusqu'en 1970. Le Yémen (San'a) devint une démocratie parlementaire dotée d'une constitution en 1970. Celle-ci fut renversée en 1974 par un coup d'état militaire. Le pouvoir tomba alors aux mains d'un parti militaire islamique unique pendant les seize années suivantes.
Le 22 mai 1990, les deux Yémen furent réunis au sein de la République du Yémen. Cette unité demeura néanmoins fragile. Les armées ne fusionnèrent pas et de nombreuses tensions existaient encore.
Au début des années 90, la pauvreté s'aggrava encore et le taux de chômage franchit la barre des 30%. La partie la plus peuplée au nord du pays s'empara victorieusement du port d'Aden, ancienne capitale du Yémen du Sud.
La population fut estimée à 15,12 millions d'habitants en 1996.