В конце двадцатых годов Медведев был переведен в Харьков, а затем в Днепропетровск, в Херсон, в Киев. Особо стоит отметить его деятельность по оказанию помощи беспризорным детям, например, благодаря его усилиям в Новоград-Волынском, где он возглавлял местный отдел ОГПУ, была создана детская коммуна. За успешную работу в 1927 и 1929 годах Медведев был удостоен именного боевого оружия — пистолетов системы «маузер». К слову, второй наградной пистолет он получил в Херсоне (где в 1928-1930 годах руководил Секретным отделом окружного ГПУ) за организацию каналов по отправки в Болгарию агентов разведки.
За пять лет Медведев сменил семь городов. Однако никаких неудобств от столь частых перемещений он не испытывал, легко обживался на новых местах, быстро устанавливал с сослуживцами рабочие отношения и включался в ритм местной жизни. По воспоминаниям коллег Дмитрий Николаевич являлся человеком необыковенной воли, сильным и решительным. Он никогда не боялся называть вещи своими именами, смело высказывался и защищал свою точку зрения. Сам он писал по этому поводу: «Я был «неспокойным». Открыто в глаза говорил о недочетах в работе и настаивал на их устранении». Из-за этого Медведев зачастую «не ладил» с вышестоящим начальством, считавшим его «неудобным» человеком. Но, несмотря на это, в 1932 Дмитрий Николаевич был награжден нагрудным значком «Почетный работник ВЧК ОГПУ», а в июне 1935 опытного чекиста отправили в Москву на курсы высшего руководящего состава НКВД.
На этих курсах Медведев проучился до сентября 1936. Вот, что он сам писал позднее: «Во время обучения в 1936 году мою кандидатуру выставили на выборах парторга курса. Отвечая на вопрос о родных, я упомянул своего старшего брата Александра, которого не видел с 1920, однако который, по слухам, принадлежал к одной антипартийной группировке, за что был исключен из партии. Мое неведение о брате было расценено как неискренность. Вместо выборов на место парторга меня исключили из партии и отобрали билет». Тут необходимо отметить, что Александр Медведев ушел из органов в 1920 году. Впоследствии, работая в Берлине представителем Главэлектро, он помогал «Рабочей группе» — группировки внутри РКП (б), стоящей за легализацию левых партий. За это в сентябре 1924 Александр Николаевич был исключен из партии, но восстановлен спустя два года. Однако в конце 1935 его, работающего управляющим Всесоюзного автогенного треста, снова исключили из нее за «антипартийное высказывание в годовщину убийства Кирова».
В связи с исключением из партии Дмитрий Николаевич написал заместителю Народного комиссара внутренних дел рапорт с просьбой провести расследование о его связях с братом. Никакого криминала в отношениях Дмитрия и Александра ГУГБ (Главное управление государственной безопасности) не нашло. Медведева восстановили в партии.... Пришлось ему согласиться на понижение — он был командирован в НКВД УССР на место инспектора Харьковского областного управления.
В феврале 1937 Дмитрий Николаевич в гостях у своего сослуживца Александра Санина познакомился с его родственницей Татьяной Мачерет. Девушка некоторое время работала электриком, затем увлеклась журналистикой и устроилась в газету «Харьковский рабочий». У них завязались отношения, и 9 ноября Дмитрий Николаевич и Татьяна Ильинична расписались. Казалось, жизнь чекиста снова стала налаживаться, однако в апреле 1937 сотрудники НКВД арестовали его брата Александра как «врага народа». Данное обстоятельство стало основанием к освобождению Дмитрия Николаевича от оперативной работы и увольнению его в запас (в июле 1937). Возможно, кто-нибудь другой на месте Дмитрия Николаевича, посчитал бы увольнение за благо — спасибо, что не посадили. Однако он был не таков. Несмотря на неблагоприятные обстоятельства, Медведев начал активно добиваться своего восстановления на службе. Он забрасывал рапортами наркомат, писал главному редактору газеты «Правда», в ЦК ВКП (б), руководству НКВД и даже лично Иосифу Виссарионовичу. Однако ответов не было, и спустя несколько месяцев Медведев сам отправился за поисками правды в столицу. Квартиры в Москве у него не имелось, и ночевал бывший чекист, где придется — у знакомых, на вокзалах, в парках. Вот письмо Дмитрия Николаевича одному из высших чинов НКВД: «Я нахожусь в Москве уже три месяца. Ночую, где застанет ночь. Денег практически не осталось. Однако жить так готов еще столько же, лишь бы ускорить разрешение моего вопроса!». С наступлением холодов Медведев вернулся к родным на родину, но едва пришла весна, как он снова появился в столице Одним из тех, кто приютил Дмитрия Николаевича, стал старый приятель Григорий Штаркман — бывший чекист... Много лет спустя он рассказывал журналистам: «При мне Медведев написал Сталину письмо и указал мой домашний адрес. Я в шутку заметил, что это лишь повредит ему, поскольку двое чекистов, уволенных из органов, — это уже заговор. Медведев тогда приписал вместо обратного адреса: «Если потребуюсь, я на Курском вокзале». Он часто находился там».
Нет комментариев