O tom, kolik měl Fidel Castro žen kolují legendy. Kolik je v nich pravdy je otázkou, kterou se asi jen tak nedozvíme. Jisté ale je, že ve vztahu k ženám nebyl kubánský diktátor nikdy příliš zdrženlivý, ačkoliv svému lidu tvrdil něco jiného.
První manželkou Fidela Castra byla Mirta Diaz-Balart, se kterou se seznámil při studiích. Mirta se také stala matkou jejich syna Fidelita, který po jejich rozvodu připadl do péče otce, ačkoliv o něj Mirta vedla boj. Je otázkou, jestli zrovna tyto traumatické zážitky nepoložily Fidelitu do hlavy zárodek jeho psychických poruch, kvůli kterým se později zabil.
Druhou manželkou kubánského diktátora byla nepříliš známá, ale v Castrově životě velmi významná, Dalia Soto del Valle. S tou se seznámili na shromáždění a po zahoření citů ji nechal Castro zasypávat dárky, které si nemohl prostý lid ani náhodou dovolit. Dalia ale také nebyla úplný svatoušek. Jednou ji totiž nachytali při projevování náklonnosti jednomu ze členů ochranky, z čehož měla málem problém. Nakonec se ale vše urovnalo. To se však nedá říct o muži z ochranky. Ten zmizel z povrchu zemského.
Kromě dvou manželek měl Fidel nespočet milenek. Jednou z těch nejznámějších byla zelenooká Natalia Revuelta, která byla brána za nejkrásnější ženu v Havaně. Ta Fidelovi v roce 1956 dokonce porodila dceru Alinu, která však dostála svému jménu a proti otci neustále revoltovala a nakonec dokonce z Kuby utekla do USA.
