Анатолий Павлович родился в 1925 году в деревне Максимовка Большереченского района Омской области.

Когда началась Великая Отечественная война, Анатолию Павловичу было всего 16 лет, но как истинный патриот своей Родины не мог в столь трудный час оставаться в стороне, добавил себе 2 года и ушел на фронт. В городе Барабинске Новосибирской области в запасном полку окончил полковую школу и в составе 230-го отдельного лыжного батальона в ноябре 1941 отбыл на фронт.В декабре 1941 года Анатолий Щербаков оказался в Смоленске, в лыжном батальоне. Спустя два месяца был ранен и контужен в первый раз, потом получил еще два ранения - в 44-м году на Карельском фронте и в 45-м - на территории Венгрии.
В марте 1943 года Анатолия Павловича направили в Томское артиллерийское училище. После него он попал в 98-ю стрелковую дивизию. В 1944 году Щербаков А.П. был переброшен на Карельский фронт, затем воевал в Польше и Венгрии. 20 марта 1945 года в городе Веспрем Анатолий Павлович корректировал огонь артиллерии. Немцы окружили дом, на чердаке которого находились солдаты, и забросали его гранатами. Осколком Щербакова А.П. ранило в живот, войну пришлось закончить в госпитале Будапешта.
После победы Анатолий Павлович Щербаков твердо решил связать свою жизнь с армией. В 1946 году был отправлен на Дальний Восток, где проработал более 20 лет. В 1967 году переведен в Московский военный округ, в Курск, где сначала работал в девятом военном городке, а в 1970 году был назначен на должность начальника военной кафедры Курского технического института. Преподаванием занимался до 1981 года.
После 40 лет исправной службы Анатолий Павлович вышел в отставку в звании полковника, имея множество наград, среди которых орден Отечественной войны первой степени, два ордена Красной звезды, медали «За отвагу» и «За боевые заслуги».
В 2005 году Щербаков был избран председателем правления Союза десантников, где работал до октября 2011 года.