Deze singel is pas in de zeventiger jaren van de vorige eeuw aangelegd. Voor die tijd sprak men van de Kasteelswal. Een vrij smal weggetje langs de Kasteelsgracht, waar allerlei kleine huisjes langs stonden.
Bekend waren het snoepwinkeltje van de dames Mieke-Betje en kleermaker Leenen. Op de hoek nabij de Oelemarkt stond Fruithuis Wolter. Langs de Kasteelsingel staat nu moderne bebouwing in de vorm van appartementen, de Rabobank en het politiebureau.
