Conta a lenda que a imagem uma imagem de Nossa Senhora do Desterro, padroeira de Campo Maior, foi encontrada dentro de uma das grutas do Castelo de Pedra. A imagem (esculpida em pedra arenítica) teria sido retirada do local, levada para a cidade e colocada no alta da capela. Porém, dias depois a imagem desapareceu da capela e reapareceu na gruta. Um dia, quando um dos moradores retornou ao Castelo encontrou a imagem as santa no mesmo local e a trouxe para capela novamente, contudo, ela reapareceu na gruta. Isso aconteceu uma três ou quatro vezes. E assim, ela misteriosamente reaparecia na gruta por várias vezes, até que a população decidiu então, levá-la mais uma vez para a capela, acorrenta-la e colocando-a em uma cela, mesmo assim ela desapareceu novamente e nunca mais foi vista. Hoje, os mais devotos, dizem que com muita fé conseguiam vê-la ou toca-la.
Durante a noite, a Pedra de Castelo se assemelha a um castelo feudal, esse é motivo da denominação de Pedra de Castelo para à gruta que por muitos séculos também foi cemitério cristão.
