Его мать работала бухгалтером, отец — плотником, и жила семья Жарковых очень бедно. Всемером они ютились в одной комнате расположенной на окраине коммунальной квартиры. Вся мебель в доме была сделана руками Дмитрия Жаркова, отца будущего актёра.

Дети Жарковых с юных лет проявляли интерес к искусству. Впоследствие старший брат Алексея, Александр, также стал актёром, а его сестра Антонина — гримёром.

— Маленьким я очень любил цирк: с замиранием сердца смотрел на гимнастов, но клоуны производили самое грандиозное впечатление. Дома перед зеркалом я строил рожи, фантазировал, мазался помадой — рисовал себе большой рот... — вспоминал впоследствие Алексей Жарков. — Я с детства стремился к шутке, розыгрышу, анекдоту. Наверное, это от трудной жизни шло. Мы с братьями постоянно искали в жизни смешинку, нас тянуло туда, где веселье, улыбки.

Однажды отец Алексея заметил, что мальчик вырезал из фанеры аккордеон и нарисовал на нём клавиши. Подкопив денег, семья подарила Алёше настоящий музыкальный инструмент, который в некотором роде определил его судьбу.

Во время вечера творческой самодеятельности, на котором юный Жарков читал Твардовского, аккомпанируя себе на баяне, будущего актёра заметил режиссёр Марк Донской, который взял его на роль в фильме «Здравствуйте, дети!». Два года спустя Алексей сыграл у Ролана Быкова в картине «Пропало лето».

Окончив школу, Алексей уже твёрдо знал, что хочет быть актёром. Он отучился в Школе-студии МХАТ, однако, несмотря на успешный экранный дебют, новых ролей в кино Жаркову долго не предлагали. Алексей играл на сцене Театра имени Ермоловой, где и познакомился со своей будущей женой Любовью. Она была не актрисой, а простой бортпроводницей, которая заглянула в театр и после окончания спектакля решила подарить цветы именно Жаркову.

Алексей Дмитриевич отличался редким трудолюбием. Ещё в школьные годы он с братьями каждое лето подрабатывал на стройке, нёс каждую копеечку в дом, и с возрастом не изменил своей привычке. В день собственной свадьбы Жарков играл в родном театре: он вышел на сцену в смокинге и с бабочкой, а его жена в белом подвенечном платье сидела за кулисами и слушала, как Алексею аплодируют.

Успех пришёл к Алексею Дмитриевичу, когда ему было уже за 30. В фильме Киры Муратовой «Познавая белый свет» он так естественно сыграл шофёра Николая, что на «Ленфильме» его спрашивали, кто он по профессии, и удивлялись, узнав, что Жарков — актёр, а не какой-то пролетарий.

Способность вжиться в образ «человека из толпы», создать на экране героя, которого зритель вполне мог представить живущим по соседству, стала отличительной чертой Алексея Дмитриевича на долгие годы. Таким он предстал перед нами в картинах «Криминальный талант», «Мой друг Иван Лапшин», военной драме «Торпедоносцы».

— Мои герои в разной степени давали мне возможность обобщать своё личное понимание многих жизненных проблем, — признавался Жарков.

— Зритель ценит только тех актёров, которых знает и видит. А забвение для нашего брата хуже Господнего наказания, — говорил Алексей Дмитриевич, объясняя, почему никогда не отказывается от предложенных ролей.
В 2012 году в результате инсульта Жарков оказался частично парализован. . Весной 2016 года его сразил новый инсульт, от которого Алексей Дмитриевич уже не смог оправиться.

— В последние годы он не снимался. Он тяжело болел, — рассказал журналу «Собеседник» актёр Алексей Булдаков. — Знаю, что предлагали организовать сбор средств на его лечение. Но семья отказалась, мол, сами справятся.

Алексей Жарков скончался 5 июня 2016 года, оставив жену с двумя детьми. Его дочь Анастасия также стала актрисой, а сын Максим окончил юрфак и работает следователем в прокуратуре.

Роли в кино
1962 — Здравствуйте, дети! — Петя
1976 — Эти непослушные сыновья — Олег
1978 — Познавая белый свет — Николай
1979 — Следствие ведут ЗнаТоКи. Подпасок с огурцом — «Кочегар»
1979 — Последняя охота — Дрейс, член экипажа шхуны
1979 — Пристань
1980 — Крик гагары — майор Брагин, командир полка
1980 — Ночное происшествие — Степан Воронов, таксист
1980 — Гражданин Лёшка — Олежек
1980 — Мелодия на два голоса — Гриша, парикмахер (озвучивает Юрий Саранцев)
1980 — Ты должен жить — Лёшка Рожков, лётчик
1981 — Личная жизнь директора — Гена Авдеев, работник комбината (озвучил Валерий Захарьев; в титрах не указан)
1981 — Штормовое предупреждение — Валентин Фёдорович Николаев, зоотехник
1981 — Гиблое дело — Гришин
1981 — Трижды о любви — Пашка
1982 — Грибной дождь — Проклов
1982 — Вы чьё, старичьё? — Андрей, жених Валентины, вернувшийся из колонии
1982 — Нас венчали не в церкви — Иван Фёдорович, мировой судья
1982 — Родился я в Сибири… — Василий Завьялов
1983 — Торпедоносцы — старшина Черепец
1984 — Мальва — Василий Легостев
1984 — Прохиндиада, или Бег на месте — официант Коля
1984 — Мой друг Иван Лапшин — Окошкин
1984 — Парад планет — Руслан Слонов, «Слон», грузчик
1984 — Блондинка за углом — рабочий универсама
1985 — Хочу тебе сказать… — попутчик Василия
1985 — Вина лейтенанта Некрасова — Некрасов
1985 — Деньги для Марии — Евгений Николаевич
1985 — Иван Бабушкин — Иван Бабушкин
1985 — Берега в тумане — полковник Самохвалов, начальник контрразведки
1986 — Михайло Ломоносов — Постников
1986 — Время сыновей — Михаил Кадкин
1986 — Прости — Александр Семёнович
1986 — Была не была — Андрей Петрович Звягинцев, директор школы
1987 — На исходе ночи — Кукаркин
1987 — Джамайка — Стас Попков
1987 — Десять негритят — Уильям Блор
1987 — Выйти из леса на поляну — гость учителя
1987 — Жизнь Клима Самгина — Владимир Васильевич Лютов, купец 1-й гильдии
1988 — Дама с попугаем — Сергей Алексеевич, механик в аэропорту
1988 — Криминальный талант — Сергей Георгиевич Рябинин, следователь прокуратуры
1988 — Любовь к ближнему — Мухоморов
1988 — Город Зеро — следователь
1989 — Узник замка Иф — Данглар
1989 — Васька — Осип
1989 — В городе Сочи тёмные ночи — Степаныч
1989 — Женщины, которым повезло — Николай Ромашов, муж Веры
1990 — Затерянный в Сибири — вор Никола
1990 — Имитатор — Лев Козак
1991 — Кремлёвские тайны шестнадцатого века  — царь Иван Грозный
1991 — Непредвиденные визиты — Матвей Захарович Аграненко
1991 — Не будите спящую собаку — Чибис
1991 — Мигранты — Виктор
1991 — Чокнутые — Александр Христофорович Бенкендорф
1991 — Любовь на острове смерти — профессор Эрвин Бернер
1992 — Генерал — Лев Мехлис
1992 — Я хотела увидеть ангелов — врач, работник морга
1992 — Бабник 2 — Геннадий Андреевич
1992 — Аляска, сэр!  — «Катар»
1992 — Отшельник — Гера
1992 — Белый король, красная королева — Сергей Жиров
1992 — Вальс золотых тельцов — Филипп Михайлович
1993 — Завещание Сталина — Иван Сташков
1993 — Предсказание — Игорь Петрович Поплавский, бывший сотрудник МГБ или КГБ
1993 — Сны — генерал-полковник Клочков, заместитель министра обороны
1994 — Жизнь и необычайные приключения солдата Ивана Чонкина — Гладышев, селекционер, который выращивал пуксы
1994 — Прохиндиада 2 — Николай Николаевич
1995 — Роковые яйца — Щукин
1996 — Мужчина для молодой женщины — начальник колонии
1996 — Короли российского сыска
1996 — Кавказский пленник — Маслов
1996 — Карьера Артуро Уи. Новая версия — Джузеппе Дживола, торговец цветами, гангстер
1996 — Ревизор — Артемий Филиппович Земляника
1997 — Мытарь — Новицкий
1998 — Паранойя
1998 — Хрусталёв, машину! — чин МВД
1997 — Дети понедельника — Вася Нечуенко
1998 — Чехов и Ко — Николай Петрович Колпаков (4 серия «Хористка») / Иван Иванович Двоеточнев (7 серия «Невидимые миру слёзы») / Лев Иванович Попов (9 серия «Житейские невзгоды») / Илья Мартыныч Яшкин (9 серия «Мыслитель»)
1998 — Кому я должен — всем прощаю — хозяин квартиры
1999 — Поворот ключа — Нехорошев
1999 — Куба далеко
2000 — Истинные происшествия — фотограф
2000 — 2008 — Тайны дворцовых переворотов — Алексей Долгоруков
2001 — Идеальная пара — Щербатов, финансовый директор
2001 — Медики  — Мамедов
2000 — Граница. Таёжный роман — «Папа», контрабандист
2002 — Возбуждение
2002 — Бездельники — Цветиков он же «Мозоль»
2002 — Дронго — «Трубочист»
2003 — Замыслил я побег — Аварцев
2003 — Нет спасения от любви — Сидор
2003 — Прощание в июне — судья
2004 — Странствия и невероятные приключения одной любви — Винт
2004 — Сматывай удочки — мастер из автосервиса
2004 — Время жестоких — Иван Фомич Фролов
2004 — Потерявшие солнце — Егорыч
2004 — Узкий мост — алкаш с козой
2004 — Штрафбат — Илья Григорьевич Лыков, генерал-майор, командир дивизии
2005 — Фартовый — «Дьяк» (Никанор Евстафьевич Дьяков), «вор в законе»
2005 — Убойная сила-6 — «Рыба», вор в законе (серия «Казачий разъезд»)
2005 — Казус Кукоцкого — бомж
2006 — Меченосец — отец
2007 — 2009 — Группа ZETA — Косенко
2007 — Несколько простых желаний
2007 — Дело было в Гавриловке — Виссарион
2007 — Принцесса цирка — Алексей Романов
2008 — Чемпион — отец Тины
2008 — Москва улыбается[9]
2009 — Палата № 6 — прежний главврач (последняя роль в кино)