Au début du 13ème siècle, un château est construit à Oreye par D’OREY Arnould, 3ème fils de DEJENEFFE Libert, Seigneur d’Oreye.

Il est entouré de douves, comprend une tour carrée surplombant le porche d’entrée. Il possède un pont-levis et est flanqué de 2 tours rondes. Le tout entoure une cour haute, protégée par des remparts. Une basse-cour est attenante au château.