В школьные годы Клею пришлось подраться всего два раза.

В первый раз конфликт произошел, когда Кассиус с друзьями сидел в клубе и к ним пристали двое парней. Клей долго, но безуспешно настаивал на том, чтобы разойтись миром, но в итоге драка все-таки состоялась на улице. Клей одним ударом отправил одного из противников в нокаут, а второй поспешно ретировался.
Во второй раз будущий чемпион мира подрался уже во время подготовки к Олимпиаде. По утрам он бегал мимо бара, где собирались мужчины. Одному из них так не понравилось то, что Клей, пробегая мимо них, бормочет себе под нос: «Я стану чемпионом мира», что однажды он подкараулил Кассиуса и ударил его в лицо. Клей устоял на ногах и обрушил на оппонента град ударов. На следующее утро противник спортсмена уже приветствовал его словами: «Привет, чемпион».