Здание построено в 1793 году, как дворец гражданского губернатора.

Памятник сложен из кирпича, а цоколь отделан белым камнем. Изначально здание было Г-образным в плане, двухэтажным с мезонинами. Протяжённые крылья несимметричны – 43 метра по улице Андропова, 64 метра по улице Революционной. . По некоторым данным, в создании этого величественного особняка принимал участие знаменитый архитектор Иван Левенгаген – тот самый, что подарил Ярославлю ансамбль Ильинской (ныне Советской) площади.
С 1795 по 1853 год здание использовалось в качестве учебного заведения и не перестраивалось. Учились здесь преимущественно дворяне. Среди них в форменном синем сюртучке гимназиста щеголял и юный Николай Некрасов. Именно в гимназии он впервые по-настоящему увлекся поэзией, начав свою литературную карьеру с эпиграмм на одноклассников. А вот учился будущий классик неровно. Годы спустя он с иронией вспоминал о своих суровых гимназических буднях: «Когда придешь, бывало, в класс, и знаешь – сечь начнут сейчас». С 1871 г. располагался ярославский местный лазарет близ церкви Николы Мокрого, при Никольских казармах, где в 1870 – 1880-х годах квартировал 137-й пехотный Нежинский полк. Всего в лазарете было 150 коек, причем 15 из них предназначалось для больных и раненых женского пола.
Во времена советской власти просторный комплекс на берегу Которосли постепенно перешел «на военную службу». Правда, для этого ему пришлось вновь изменить свой имидж: исчезла не только эффектная корона на углу здания, но и небольшая часовня Спаса Нерукотворного, пристроенная к парадному фасаду. Сейчас на ее месте осталась лишь арочка, хорошо заметная на стыке двух зданий. Однако раньше эта часовня была очень популярна. По преданию, в XVIII веке здесь стояла богадельня, на стене которой был нарисован образ Иисуса Христа.