No início da segunda metade do século XIX, a vila de Lagoa terá, também o seu Asilo instalado no sítio de S. José, num edifício térreo, amplo, com capela, com amplo logradouro e com um pequeno cemitério anexo, mandado construir pelo 1º Visconde de Lagoa, Eugénio Dionísio Mascarenhas Grade, liberal-constitucionalista e filantropo, o qual se destinava a acolher conterrâneos seus desvalidos da sorte, idosos pobres, viúvas e mendigos, desconhecendo-se quer o ano da sua inauguração quer a data de encerramento.

Com a morte do seu benfeitor em 1867 terá, então, crê-se, fechado as portas como asilo ainda que, muitas vezes, tivesse depois funcionado como albergue ou hospício, acolhendo mendigos passantes ou indigentes que aí pernoitavam, até que, no início do século XX, passará a ser alojamento de trabalhadores sazonais da família do 2º Visconde, Francisco d'Assis e, veja-se bem as voltas que o mundo dá, a partir da revolução de abril (1975) e durante mais de uma década, acolherá, uma vez mais, uma instituição filantrópica, o infantário "A Colmeia", por cedência gratuita do edifício à comunidade pelos seus atuais proprietários, também eles familiares do primitivo proprietário e benfeitor lagoense, o 1º Visconde de Lagoa.