Флойда Паттерсона тренировал один из самых харизматичных персонажей в истории современного бокса — Кас Д’Амато, который позже взялся за подготовку Хосе Торреса и Майка Тайсона, вырастив из них чемпионов.

Паттерсон был очень скромным, вежливым и даже ранимым человеком, из-за чего и получил свое прозвище — «Джентльмен бокса». Например, отправив Юханссона в глубокий нокаут (тот лежал на настиле ринга и его нога судорожно подергивалась), он вместо ликования и всяческой демонстрации превосходства бросился помогать тому прийти в себя. По его собственному признанию, он ужаснулся от того, что он так сильно избил человека. Безусловно, Паттерсон являлся хорошим примером достойного человека с высоким уровнем морали (и это несмотря на то, что вырос он в очень бедной семье в одном из самых бедных и опасных районов Нью-Йорка — Бедфорд-Стайвесант), однако его неспособность к агрессии постоянно служила ему недобрую службу на ринге и вне него: проигрыши сопровождались периодами тяжелой депрессии, а перед предстоящими боями он испытывал мучительные приступы страха. Кас Д’Амато признавался, что почти абсолютная неспособность к агрессии является, в случае с Флойдом, проблемой, которую ему как тренеру не удалось преодолеть. «Я не великий чемпион — я просто чемпион», нередко повторял скромняга Паттерсон.