A primeira referência a este castelo data de 960. Com ampla dominante visual, possui um vasto perímetro muralhado, construído provavelmente na Baixa Idade Média.

A muralha possuía quatro portas e quinze torres, de que restam seis. No interior da cerca vêm-se restos de construções, a igreja românica de Stª. Maria e uma cisterna. No exterior encontra-se a capela pré-românica de S. Pedro e uma necrópole com 10 sepulturas antropomórficas.

A ocupação humana do local onde a Idade Média estabeleceu o castelo de Numão recua à Pré-História, tendo-se identificado níveis do Calcolítico e da Idade do Bronze. Segundo alguns autores, o local foi um ponto de relativa importância durante o período romano, mas tal não foi ainda provado pelas campanhas arqueológicas efetuadas no recinto medieval.

O primeiro documento que alude a uma fortificação data de 960, ano em que Numão aparece integrada na lista de fortalezas doadas por D. Flâmula ao Mosteiro de Guimarães. Por essa altura, é já claro que o topo do monte albergava uma estrutura militar, ainda que se desconheça, por completo, quais as suas caraterísticas.