Дворянская фамилия, предками которой были выходцы из Голландии, переселившиеся в Прибалтику и получившие потомственное дворянство только в 1856 году.

Лютеранин Христоф-Генрих-Георг-Юлиус Витте женился на дочери Саратовского губернатора А. Фадеева и княжны Е. Долгорукой. Из-за брака Витте пришлость принять православие. Он получил имя Юлия Федоровича. У его жены княжеского происхождения было множество влиятельных родственников, а сам Юлий являлся крупным царским чиновников и служил на Кавказе. Витте подчеркивал свои родственные узы с князьями Долгорукими, но не любил вспоминать, что сам происходил из семьи малоизвестных обрусевших немцев.
В этой семье родился Сергей Витте – будущий первый в истории России Министр финансов, который ушел в отставку из-за конфликта с Императором Николаем II.
Герб графа Сергея Витте утвержден только в 1906 году. Он украшен графскою короной и дворянским шлемом.