Aus unbekannter Zeit stammt der Name Heidenhubel nordwestlich der Altstadt. Vor langer Zeit sollen einmal Diebe in der St. Ursenkirche geweihte Hostien gestohlen und diese dann auf der Flucht in ein Dorngestrüpp geworfen haben. Bald darauf scheute an dieser Stelle ein Pferd und war nicht mehr weiterzubringen. Bei der Nachforschung entdeckte man die Hostien und baute zum Andenken daran das Heidenkäppeli.

Quelle: P. Keckeis, M. Kully, Sagen der Schweiz. Solothurn, Zürich 1987. Eingelesen von der Mutabor Märchenstiftung auf www.maerchenstiftung.ch