La ville est blottie dans la nature et elle se caractérise par l'église Santa Maria de l'Acciarolo sul lido, citée dans les documents historiques dès 1187, et par la tour que les Normands bâtirent vers la fin du XIIe siècle. Ces propriétés et la bande de terre longeant l'Iandolo jusqu'au Monte Stella appartenaient aux très puissants seigneurs Sanseverino de Salerne, puis elles passèrent aux Capano de Pollica au XIIe siècle. Acciaroli apparaît dans les sources en 1165. Le toponyme se réfère à un arbuste épineux de la famille de rosacées ressemblant à l'aubépine, mais il existe aussi une origine grecque, « azale », qui indiquerait un accostage « sans tempête ».
Le lieu tient son importance du fait qu'il accueillit une douane jusqu'au XIXe siècle. L'église dédiée à la Vierge de l'Assomption est très ancienne et son tympan est décoré d'une intéressante composition représentant l'Annonciation ; son clocher fut édifié en 1926, lorsqu'Acciaroli fut élevée au rang de paroisse. La tour du port est une propriété privée et constitue une fortification au grand charme. Il s'agit d'une fortification à base carrée, construite à la suite d'un projet que les Anjous conçurent par réaliser un important système défensif côtier qui jouait déjà un rôle important vers le milieu du XIIe siècle quand Frédéric II l'inséra dans le système de défense du littoral contre les incursions des pirates.
Le clocher, l'église adjacente et la tour du port sont devenues l'image et le symbole de la fameuse localité touristique italienne même au-delà des frontières nationales. Voulue par le seigneur de Cannnicchio, la tour du Caleo est une puissante construction réalisée en 1520, légèrement au sud de la ville actuelle. Le 15 septembre 1860, le célèbre romancier français Alexandre Dumas, débarqua à Acciaroli à bord de la goélette « Emma » pour y remettre aux Mille de Garibaldi 400 fusils qu'il avait pris en livraison chez Leonino Vinciprova, homme de confiance du Héros des Deux Mondes.
Parmi les mémoires légendaires et populaires, il y a celle de la présence de Hemingway évoquée par les vieux pêcheurs, témoins du temps passé, ainsi que grâce au rôle indirect de la télévision japonaise, venue dans un deuxième temps, pour interviewer ces pêcheurs qui auraient parlé sur le port avec le « Grand sage du monde ».