В 1786 году был издан «Устав народных училищ», согласно которому в уездных городах должны были открываться малые двухклассные училища.

Предложено было и Невелю открыть у себя такое училище. Попытка создать его была предпринята в 1788 году. Однако уже к 1791 году малое двухклассное училище в Невеле закрылось.
В 1803 году по ходатайству местных дворян в Невеле было открыто первое дворянское училище, преобразованное впоследствии в уездное училище, которое, в свою очередь, было позже преобразовано в Городское училище.
В 1912 году Невельское Городское училище было преобразовано в высшее начальное училище с ремесленным классом.
Все перечисленные учреждения народного образования располагались, судя по картам города конца 18 - начала 19 столетий, фотографиям 20 века, на центральной площади Невеля.
Именно на этом же самом месте располагалась впоследствии Единая трудовая школа первой ступени, возникшая, по всей видимости, в 1918 году. В начале тридцатых годов эта школа стала средней и получила №2, так как одна средняя школа уже была в городе к тому времени. Часть здания довоенной средней школы №2 сохранилась и доныне. Сказать с уверенностью, что именно в нем в конце 18 века располагалось первое народное училище, мы не можем. Но то, что оно располагалось на том же самом месте, вполне очевидно. Это дает нам возможность сделать предположение, что средняя школа№2 исторически сформировалась из первого невельского народного училища.
До начала Великой Отечественной войны школа оставалась средней. С 1943-го по 1946-й годы была начальной. С 1946 года – семилетней, с 1954 года-вновь средней. Располагалась она уже в других зданиях.
После освобождения Невеля от немецко-фашистских захватчиков начальная школа №2 располагалась в нескольких помещениях. Затем с 1946 года семилетняя школа №2 переехала в здание на улице Ленина, где она находилась более десяти лет и вновь стала средней школой. Этого здания сейчас уже не сохранилось. На его месте было построено Невельское медицинское училище, а в настоящее время находится полиция.
В 1957 году на улице Ленина было построено еще одно здание школы. Именно в него переместилась школа №2, где и находится до настоящего времени. Почти все эти годы школа №2 была средней. Лишь в период с 1986 года по 1990 год школа была реорганизовано в восьмилетнюю, затем неполную среднюю школу. Но именно в эти годы произошло важное событие в жизни школы. Ей было присвоено имя геройски погибшего выпускника - Героя Советского Союза Николая Ивановича Ковалева, который совершил подвиг в небе Афганистана.
За годы существования школы №2 сменилось несколько поколений учителей, отдававших ей всю свою жизнь.