Le Collège Leclerc peut être fier de son histoire. C'est par un décret de Napoléon 1er du 25 juin 1806 que l'ancien séminaire construit en 1668, devient le collège Municipal de Saint-Gaudens. On y prépare alors le Bac et même certains concours d'entrée aux Grandes Ecoles.

La réfection et l'agrandissement du collège, décidés en 1881, lui donnent son aspect actuel. L'ensemble s'étend aujourd'hui sur 2500 m² et se décompose en plusieurs bâtiments, les deux principaux bordent en parallèle la cour d'honneur. La façade sur l'avenue du Général Leclerc, de style néoclassique, est équilibrée et harmonieuse. Elle se développe sur deux niveaux, percée de hautes fenêtres en plein cintre au rez-de-chaussée avec voussures, légèrement elliptiques dans la partie supérieure au premier étage.

Le bâtiment Nord se termine à chaque extrémité par deux ailes plus élevées, marquées par un puissant arc en plein cintre également, reposant sur des colonnes à chapiteaux doriques coiffées d'un fronton triangulaire ornées d'une bordure à redents. Coté Est, cet arc encadre une porte d'inspiration classique, donnant accès à l'ancienne chapelle désaffectée. Coté Ouest, il abrite deux fenêtres de même style que celles de la façade.

Au milieux de celle-ci, le porche d'entrée en berceau est surmonté, au faite du toit médian d'un petit fronton circulaire où se loge une pendule. Il conduit à la cour d'honneur, bordée sur trois cotés d'une galante de circulation à arcades romanes. Au fond le bâtiment Sud, à deux étages, dont la façade regarde vers les Pyrénées, s'ouvre sur la cour de récréation par un couloir qui prolonge un large perron.

Il est flanqué aux deux angles par deux tours rectangulaires de trois étages, qui font saillie. Des constructions perpendiculaires s'allongent de chaque côté, est et ouest, de la cour. De l'avenue du Général Leclerc et de la cour d'honneur, l'édifice offre l'aspect d'un lycée napoléonien, avec ses lignes régulières, ses éléments équilibrés. De la cour de récréation, il revêt l'apparence d'une grande bâtisse religieuse du XVII ° siècle.

Les origines de l'ensemble remontent au XVII ° siècle, mais le bâtiment initial a été maintes fois transformé, remanié, agrandi.

Pendant la 1 ère Guerre Mondiale le collège fut converti en Hôpital militaire auxiliaire (n°6) pour les blessés.

Entre 1932 et 1937, les installations se modernisent : chauffage central, assainissements. En 1938, le collège compte 400 élèves - les classes supérieures sont déjà mixtes, d'autres comme 6eme et 5eme, ne le sont pas. En 1946 le collège municipal est élevé au rang de lycée, devenant ainsi par son importance le deuxième établissement secondaire de l'Académie après Toulouse.

En 1960, le prolongement de la scolarité obligatoire jusqu'à 16 ans intervenue en janvier 1959, l'attribution de bourses, le renom d'établissement firent affluer les élèves dont le nombre s'élevait à 2000 en 1966.

En Octobre 1971, le second cycle se transporte au domaine de Bagatelle dans de nouveaux locaux. Le Collège fut transformé en CEG (Collège d'Enseignement Général) avec internat et demi pension de la 6° à la 3°, sous forme d'annexe du collège Didier Daurat.

Il devint autonome en 1977 et prit alors le nom de "Collège Leclerc", celui d'un des plus grands chefs militaires français de la seconde guerre mondiale.