O Castelo de Loulé apresenta um traçado das muralhas da antiga medina,com diversas torres e lanços de muralha em taipa dissimulados por entre o casario, datáveis dos séculos XII-XIII.

O subsolo intramuros preserva vestígios de construções e camadas de terra com materiais dessa época de que se destacam as ruínas de um balneário e os restos da antiga mesquita, com a sua torre minarete convertida pelos cristãos em igreja (atual paroquial de São Clemente), após a conquista da cidade em 1249.

Durante os séculos XIV-XV, a antiga alcáçova, com as suas torres de tradição muçulmana, foi adaptada a residência do alcaide e acolhe hoje o Museu Municipal de Arqueologia.