Todo o Guia de Turismo conhece esse morro, o mais característico da cidade, cantado e decantado mundialmente, com 395 metros de altura, galgados com facilidade pelo bondinho que vai ao seu topo desde 1913, e cujo nome é devido ao fato de os portugueses acharem-no parecido com as formas de barro onde se colhia o caldo de cana purificado nos engenhos coloniais.

     O que poucos talvez saibam é que o Pão de Açúcar também possui uma enorme caverna, aberta por uma falha na rocha gnaissica há, pelo menos, um bilhão de anos, no costão batido pelo Oceano Atlântico, fora da barra. Ela é acessível por terra, por um caminho na rocha, depois da pista Cláudio Coutinho, como pelo mar, de caiaque.

     Menos gente ainda sabe que até a relativo pouco tempo ermitões nela residiam.

      Desde os anos trinta, nela morou o português Eduardo de Almeida, que contava 58 anos em 1965, vivia da caça e pesca, inteiramente alheio à cidade e sua gente, as quais desconhecia por completo! Em princípios dos anos sessenta dividiu sua caverna com o casal Francisco de Brito e Isídia Maria da Conceição, mais sociáveis, pois vendiam mamão, laranja e banana que plantavam na encosta do morro aos freqüentadores da Praia Vermelha. Todos foram desalojados pelos militares da Fortaleza de São João em 1968 e desde então só os morcegos a tem habitado.