Актерскую карьеру Зиновий Гердт начал в театре рабочей молодежи, когда учился в техническом училище на слесаря.

Известность ему принесли роли в фильмах «Фокусник» и «Золотой теленок» , спектаклях «Необыкновенный концерт» и «Божественная комедия» . Работал Гердт и как актер дубляжа: его голосом говорят волшебник Гудвин и Муми-тролль, а также персонажи многих других мультфильмов.