O castelo de cinco quinas está envolto em histórias tradicionais. Diz-se que foi edificado pelo capitão romano Sertório, no ano de 74 a.C., e que fazia parte de uma rede de fortificações em volta da serra da Estrela. Contudo, recentes escavações arqueológicas concluíram que a ocupação inicial não deve ser anterior ao século X ou XI. É também o palco da lenda de Celinda, corajosa mulher que expulsou os romanos, atirando sobre eles uma frigideira (sertage) com azeite a ferver.