Ali Kastrati lindi më 22 gusht 1922 në Coroticë të Preshevës. Prindërit, shtatë ditë pas lindjes së djalit Ali, u nisën për në Turqi dhe u vendosën në Izmir. Pas 7 vitesh shkuan në Stamboll, atje ku Aliu përfundoi edhe shkollën fillore në gjuhën turke. Pas 14  vjetësh në Turqi, familja Kastrati vjen në Shqipëri dhe vendoset në Tiranë përgjithmonë.

Në këtë kohë djaloshi shquhej për fizik të bukur, truplidhur, i shkathët dhe i fortë, me gjoks e shpatulla të gjera, me sy e flokë gështenjë, me shtatlartësi e peshë normale. Kishte dëshirë e pasion të merrej me sport. Rrugën drejtë sportit e nisi në vitin 1940 i nxitur nga këshillat e mësuesve te edukimit fizik, Gaqo Goga dhe Adem Karapici.

Në prillin e vitit 1942, kur ishe 20 vjeç, Aliu u martua me Behije Kastratin nga Ulqini një vajzë fisnike e besnike. Lindën, rritën dhe edukuan gjashtë fëmijë. Behija, me punën dhe sjelljen e saj bashkëshortore, ia bëri më të lehtë punën dhe sukseset në sport mjeshtrit të madh. Më 11 mars janë bërë pesë vjet pa Ali Kastrati, i cili do të rrojë gjatë në kujtesën e historisë së sportit shqiptar.