C'est au 13ème siècle, sous le règne d'Odon IV, seigneur de Ham, que le château va prendre la forme qu'on lui connait depuis. Il fait construire à cet angle de la ville une forteresse avec une assise faite de moellons, matériau plus résistant que ceux employés précédemment comme le bois. On lui doit le creusement des fossés ainsi que le détournement de la rivière Beyne pour inonder ceux-ci.
En sept siècles d'existence, le château se transformera régulièrement, faisant face au progrès d'une artillerie de plus en plus efficace. C'est surtout à partir du 15ème siècle, sous les règnes de Jean et Louis de Luxembourg, que les modifications les plus importantes seront réalisées.
Jean de Luxembourg, dans la première moitié du 15ème siècle fera modifier l'accès au château, en rajoutant sur le front nord-ouest une tour quadrangulaire encadrée de deux section de courtine droite, chacune aboutissant à une tour ovoïde. Ces deux tours étant elles mêmes à l'origine de forme circulaire et modifiées de façon à mieux défendre cette nouvelle tour d'entrée.
Louis de Luxembourg, au moment de la construction du donjon, fera arrasé au niveau des courtines la tour aux poudres. Il fera également diverses retouches sur l'ensemble de la forteresse.
La "demi-lune" qui protège le front nord-ouest du château date du 16ème siècle et est probablement l'oeuvre de l'architecte Jean Errard à qui l'on doit la citadelle d'Amiens. Cette demi-lune fut modifié sans nul doute par ordre de Vauban, tout comme le reste des défenses extérieures.
On distingue au premier plan un bastion semblable à une demi-lune et protégeant la partie arrière du château.
Au fond de l'image, la demi-lune défendant l'entrée du fort.
On peut remarquer également la puissance dégagée par le donjon qui haut de 33 mètres domine l'ensemble de la forteresse.