После Олимпиады в возрасте 21 года Фрейзер попадает в автомобильную катастрофу и ставит под угрозу свою дальнейшую карьеру.

У него начинаются проблемы со зрением, Джо серьезно повредил левый глаз, но на протяжении 10-ти лет своей боксерской биографии держал это в секрете. Он хотел стать легендарным чемпионом, и это желание было слишком велико.
Как говорил сам Джо: "Поначалу я не ощущал проблем со зрением, так как ни один боксер не мог выстоять против меня и трех раундов. Я думал о своем здоровье и конечно знал, что глаз даст о себе еще знать, но продолжал биться и тренироваться. Я не забросил свое здоровье и постоянно общался с врачами, по крайней мере, я не сдался и не опустил руки".