Le château de Ham, possession des comtes du Vermandois, est mentionné dès le 10ème siècle. Détruit par Thomas de Marle, il fut reconstruit au début du 13ème siècle par Odon IV auquel on attribue son plan rectangulaire, et le dispositif de vannes et de portes d'eau.
En 1380, Le puissant Enguerrand VII de Coucy, gouverneur de Picardie, acquiert la seigneurie de Jeanne d'Ham. Sa fille Marie de Coucy, veuve d'Henry de Bar, la cède en 1400 à Louis d'Orléans. Le duc, qui se constitue un redoutable réseau de forterresses renforce les défenses de la place. après sa mort, en 1407, Charles VI rattache Ham à la couronne, avant de rendre la place à Isabelle de Coucy.
En 1411, la ville de Ham, revenue entre temps au duc Charles d'Orléans, est assiégée par la terrifiante armée bourguignonne de Jean sans peur. Deux ans plus tard, Ham est à nouveau dans la descendance de Marie de Coucy en la personne de Robert de Bar, son neveu, qui sera tué en 1415 à Azincourt. La seigneurie passe alors à son épouse Jeanne de Béthune, qui se remarie en 1418 avec Jean de Luxembourg, puissant seigneur bourguignon. A la mort de Jeanne, en 1450, Ham revient à la fille de Robert de Bar, Jeanne de Bar, dont hérite à sa mort, Louis de Luxembourg, comte de Saint-Pol, qu'elle à épousé en 1435. Neveu de Jean de Luxembourg, il est un des proches de Charles le Téméraire. Louis XI parvient cependant à se l'attacher en lui donnant en mariage sa belle-soeur, Marie de Savoie et l'épée de Connétable de France.
Chargé par le roi de négocier avec Charles le Téméraire, Louis de Luxembourg manifeste dans ses domaines son goût prononcé pour le faste. Il voit aussi le profit qu'il pense pouvoir tirer de son rôle de médiateur, et ainsi renforce ses forterresses : Bohain, Lucheux, Beaurevoir, La Fère et surtout Ham, où il reçoit Louis XI à plusieurs reprises. Mais les deux princes, convaincus de son double jeu, mettent au point une stratégie pour le perdre. Louis de Luxembourg se réfugie en Hainault où il est fait prisonnier et ramené à Paris pour y être décapité en Place de Grève le 19 décembre 1475.
Attribué au duc de Bourgogne, le château ne tarde pas à être repris par Louis XI qui le donne en 1476 à Pierre de Rohan, Maréchal de France. En 1487, Charles VIII le restitue à la petite fille du Connétable, Marie de Luxembourg qui y logera jusqu'à sa mort, en 1546. Son petit fils, Antoine de Bourbon, devient en 1560, roi de Navarre. Son fils Henry IV rattache Ham à la couronne.
En 1557, L'armée de Philippe II d'Espagne assiège la ville. Le château se rend après un court bombardement destructif. Les espagnols renforcent immédiatement la place. Au 17ème siècle, de nouveaux ouvrages extérieurs sont réalisés.
Transformé sous la restauration en prison d'état, il abrite notamment sous Louis-Philippe, le prince Louis Napoléon Bonaparte.
Le fort de Ham a été malheureusement détruit dans sa quasi-totalité en mars 1917, lors du retrait des troupes allemandes sur la ligne Hindenburg.