El castillo-palacio
Es en la época medieval cuando tenemos los primeros testigos escritos sobre la villa. Algunos documentos del s.X lo mencionan con los nombres de Petra scissa y Petra cortada. El castillo de Peratallada, alrededor del cual quedó resguardada la población, fue el centro de la baronía que pertenecía a dicho linaje de los Peratallada, documentados desde el siglo XI. El castillo se comprueba que existía en 1065 pero algunas estructuras arquitectónicas parecen demostrar que este núcleo ya hubo una fortaleza desde más antiguo. El núcleo fortificado es encimbado en un enorme basamento de roca natural arenosa, cortado artificialmente para darle verticalidad. El montículo rocoso se levanta 4 o 5 metros sobre el terreno circundante. Encima despega el gran castillo, con su caraterística torre del Homenaje, y el magnífico palacio, orientado a levante, que da a la Plaza del Castillo. El muro que rodea la torre maestra se adapta a la forma irregular de la colina y alcanza una considerable altura. También se pueden ver restos de almenas que dan un gran atractivo y misticismo a la construcción. La alta torre del Homenaje, la seña de identidad del pueblo, es de planta rectangular, coronada por almenas cuadradas. Tiene una puerta adovelada y tenía un piso intermedio de madera. Está construida con hiladas de sillares escuadrados.
Las murallas
Peratallada fue una de las poblaciones catalanas mejor fortificadas. El sistema defensivo estaba formado por tres recintos de muralla. El recinto principal tenía el castillo en el centro y los otros dos eran de grandes avanzadas o barbacanas hacia el norte y levante. Las tres murallas, con altos lienzos y torres, estaban protegidas por pregones valles excavados en la roca. Este foso, de cronología ignorada y discutible, tiene en algunos puntos en los que hoy es visible, una profundidad de 7 a 8 metros. En un dibujo del Servicio de Catalogación de Monumentos de la Diputación de Barcelona se muestra una reconstrucción ideal de las murallas. Encontramos la población dividida en tres sectores, cada uno de los cuales posee su recinto amurallado. Los tres cercados se encuentran, según esta hipótesis, totalmente desatados entre ellos, rodeados por completo, cada uno con muros y torres y valles. Sólo se comunican unos y otros mediante unos hipotéticos puentes situados a la altura del paso de ronda.
Los sectores actualmente menos maltrechos de las murallas se pueden ver en el norte y en el noroeste. Pertenecen, en los fragmentos de mayor tamaño, al recinto septentrional y, en parte, al recinto principal que rodea el castillo-palacio. En el extremo de tramontana de la villa hay un extenso lienzo paralelo a la carretera, con altos muros y torres rectangulares, en el que se abre el Portal de la Verge, el único bien conservado de las murallas. Para entrar hay que pasar por un puente sobre los valles, que en ese lugar, de gran espectacularidad, es donde se conservan mejor.