Wharton dianggap sebagai orang kulit hitam pertama sebagai pemain sepak bola profesional di dunia. Meskipun bukan pemain kulit hitam pertama yang benar-benar bermain kompetisi liga di Britania Raya. Adalah pemian asal Skotlandia, Andrew Watson, yang telah lebih dulu mencatat namanya, tapi sebagai pemain amatir.
Untuk kategori pemain profesional, Wharton disebut sebagai pemain berkulit hitam pertama yang bermain di Football League.
Wharton lahir di Jamestown, Gold Coast (sekarang Accra, Ghana), ayahnya balsteran Grenada dan Skotlandia, sedangkan ibunya berasal dari Ghana. Ia pindah ke Inggris pada tahun 1882, untuk mengikuti pelatihan sebagai calon misionaris Methodis, tapi kemudian ditinggalknnya dan lebih fokus untuk menjadi seorang atlet.
