Pressupõe-se que a Capela de Santo André esteja registada desde 1560. Sendo Santo André o protector dos leprosos, presume-se que naquele local tivesse existido uma Gafaria. Um outro testemunho de ligação da Capela à existência de uma Gafaria prende-se com o tabu relacionado com as nogueiras que circundam o local. Diz-se que a quem ali passasse com as mãos ungidas de polpa das nozes, estas ser-lhe-iam cortadas por Santo André. Torna-se fácil descobrir a origem desta prescrição: os efeitos da lepra, que inicialmente se faziam sentir, relacionavam-se com o «desaparecimento» dos dedos e posteriormente das mãos. Assim, com o intuito de as nozes não serem roubadas, apregoavam o tabu.