Le château de Ham est situé au sud de la ville. Son plan, très classique, doit remonter à la reconstruction du 13ème siècle. Il dessine un rectangle de 120 sur 80 mètres, cantonné de quatre tours arrondies et renforcé de deux tours quadrangulaires. L'une de ces deux tours constitue l'entrée du château, face au glacis qui le sépare de la ville. Le château était protégé par des étangs et était entouré de fossés alimentés par la rivière "Beyne". Des portes d'eau percées dans les remparts isolaient une partie de la place.
L'entrée est protégée par une demi-lune, construite au 16ème siècle. le pied des murailles étant protégé par un mur de contre-garde, construit en moellons, avec un couronnement de grès taillés.
Hautes de 25 mètres, les courtines sont construites en moellons sur un soubassement de grès. Entièrement couronnées au 15 siècle par un chemin de ronde couvert sur machicoulis, ces courtines furent, après le siège de 1557, réparées et remparées de terre.
Plan du château de Ham
Les parties noircies sont datées du 13ème siècle.
Dénomination des tours : (en commencant par la tour carrée noire et vers la gauche)
- Ancienne tour d'entrée
- Tour de l'esplanade
- Tour d'entrée
- Tour de l'étang
- Tour aux poudres
- Tour du Connétable
Les parties grisées, dans la cour sont les bâtiments construits ou rénovés entre le 16ème et le 19ème siècle.