Althea nasce a Silver, nella Carolina del Sud, il 25 Agosto del 1927, da Daniel Gibson e Annie Bell. I genitori sono raccoglitori di cotone. Nel 1930 si trasferiscono a Harlem, quartiere variegato e complesso di New York, dove nasce la sua passione per il tennis, quando un vicino di casa le regala la sua prima racchetta.