L'on peut se demander pourquoi un tel château fort dans un pays plat, alors que d'ordinaire les barons du Moyen Age choisissaient de préférence des escarpements naturels pour construire leurs donjons.

Si l'on a, au prix d'un tel déploiement de douves et de retranchements, fondé cette forteresse redoutable, au milieu des mielles, c'est que précisément elle était indispensable pour protéger un havre formé par un cordon littoral, qui constituait un mouillage naturel fort intéressant pour des vaisseaux d'un faible tirant d'eau, comme étaient, par exemple, les esnèques des Vikings du IXe siècle.
Il n'est pas indifférent qu'une légende, encore très populaire dans la contrée, se rapporte précisément aux invasions scandinaves. La voici :
Quand les Normands, nos pères, vinrent faire la conquête de ce pays, ceux d'entre eux qui s'emparèrent de cette contrée furent longtemps arrêtés par le Château-Fort de Pirou.

Ils ne trouvèrent qu'un vieillard grabataire auquel ils promirent la vie sauve s'il leur disait ce qu'étaient devenus le Sire de Pirou, sa famille et sa garnison. Le vieillard leur expliqua alors qu'à l'aide d'un grimoire le Seigneur et toute sa maison s'étaient changés en oies sauvages pour échapper à leurs assaillants. Les Normands se rappelèrent en effet qu'ils avaient vu, la veille, au lever du jour, une quantité d'oies cendrées prendre leur essor au-dessus des remparts.

On sait que, dans les vieilles traditions populaires de Normandie, le sorcier qui s'est changé en bête doit, pour reprendre sa forme humaine, "délire", c'est-à-dire lire à rebours, la formule qui lui a servi à se "goubliner".
Au bout d'un certain temps, les oies sauvages revinrent donc pour retrouver le grimoire qui leur permettrait de "délire" la formule de leur goublinage. Hélas, les Normands avaient brûlé le château fort et avec lui le livre de magie. Force leur fut donc de rester oies sauvages... Mais, depuis lors, elles reviennent chaque année au printemps avec l'espoir de retrouver le grimoire, et, sans l'avoir trouvé, elles repartent à l'automne.

Le Grand Dictionnaire Historique de Moréri (XVIIIe siècle), après avoir raconté la légende en citant les Mélanges d'Histoire et de Littérature de Vigneul-Marville (1699), ajoute: "Voilà le merveilleux, mais ce que l'on peut dire de certain c'est que dans la nuit du 1er mars, chaque année, des oies sauvages viennent reconnaître les nids que les habitants du château fort ne manquent pas de leur préparer au nombre de 18 ou 20, au pied des remparts, avec de la paille et du foin.