Nacido el 26 de noviembre de 1878, Taylor era hijo de un veterano de la Guerra Civil que junto a su esposa había migrado desde Louisville (Kentucky) sus ocho hijos en Taylor su primer bicicleta, a la edad de 12 años.Pronto el bicicletero local -Tom Hay- lo contrató por 6US$/semana para exhibiciones y espectáculos ciclistas a las puertas de su negocio Hay & Willits. En las performances Taylor vestía uniforme militar y usaba el apodo ‘Major’, que lo acompañó toda su vida.
Su primer gran triunfo en 1895 significó para Taylor, entre otras cosas, que le prohibieran competir de allí en más en Indiana. A raíz de ello, se mudó a Worcester (Massachussets) donde no sólo existía mayor tolerancia racial sino más de media docena de fábricas de bicicleta y una treintena de comercios. Allí trabajó como mecánico y ciclista para Worcester Cycle Manufacturing Company, propiedad de Louis ‘Birdie’ Munger.
En 1896 y a los 18 años, Taylor pasó a la profesionalidad. Por entonces se lució en la carrera de seis días disputada en el Madison Square Garden de New York, bajo la mirada de cinco mil espectadores y la participación de los mejores pedalistas locales e internacionales.
Poco después repitió victoria en el Blue Ribbon Meet organizado por el club ciclista de Boston el 19 de mayo de 1897, otra vez en la milla de pista. Al año siguiente se quedó con el récord mundial de cuarto de milla y de dos millas, ganando además 29 de las 49 carreras que disputó.
En 1899 finalmente Taylor se transformó en el primer afro-americano en proclamarse campeón mundial de una disciplina deportiva al sprintar una milla de pista más rápido que ningún otro pedalista: 1 milla en 1:41min. Ese mismo año triunfó en el American Sprint. El 15 de noviembre consiguió otra marca sin precedentes: 1 milla en 1:19min. a 73,32km/hr. Al año siguiente no tuvo dificultades para revalidar su condición de mejor velocista de Estados Unidos, al llevarse nuevamente el American Sprint de manera irrefutable.
Tras sus victorias en Estados Unidos, Taylor se trasladó a Europa donde hizo la temporada de 1902 ganando 40 de las 57 carreras en las que participó. Después continuó en Australia y New Zealand.
En 1910 y a los 32 años, Taylor se retiró del profesionalismo a pesar de encontrarse aún en gran forma.
Una vez retirado de la actividad profesional, Taylor volvió a Worcester con la considerable fortuna que había reunido por sus logros deportivos. Sin embargo la combinación de malas inversiones, crónicos malestares de salud y el crack financiero de 1929 hicieron que Taylor muriera en una unidad hospitalaria de caridad, hundido en la más absoluta pobreza (Chicago, 1932).
Actualmente numerosos clubes, velódromos, calles y artículos deportivos llevan su nombre y en 1989 fue incluido en el hall de la fama del ciclismo de Estados Unidos.
