De Porte de Notre Dame bevindt zich op het plein dat zijn naam draagt. In het midden van de 16e eeuw vroegen de inwoners aan de Prins van Condé toestemming om de stenen van het kasteel te gebruiken voor de bouw van de poort van het Notre Dame plein (1475), die werd gebouwd met de stenen van de oude poort van het kasteel.
In de 12e eeuw heette het kasteel Castro Canino.
De middeleeuwse vestingwerken van de stad werden door Lodewijk XI verwoest na zijn overwinning op Karel de Stoute.
De Porte Notre-Dame werd bij decreet van 16 oktober 1930 geklasseerd als Historisch Monument uit de 15de eeuw en is eigendom van de gemeente.