Está situado en las cercanías del Ayuntamiento y de la Colegiata de Santa María, dentro de lo que antiguamente era el primer recinto amurallado de la pequeña villa medieval de Gandia. Se trata de un edificio construido en torno a un gran patio central, en el que destaca una escalera adosada en dos tramos. El acceso principal se realiza a través de una puerta de arco de medio punto, con dovelas de sillería, característica de la arquitectura nobiliaria de los siglos XIV y XV. En su interior, se encuentran varias salas de las cuales, las más importantes son: el Salón de Coronas, la Galería Dorada, Santa Capilla, etc.
A continuación introduciremos algunas de las salas del palacio ducal de San Francisco de Borja :
Salón de Coronas:
El salón de grandes dimensiones posee ventanales con motivos heráldicos con vista al patio de armas.
La sala recibe su nombre debido a que el símbolo característico de los Borja son dos coronas
contrapuestas. Éste símbolo se encuentra repetidamente en dicho salón.
Galería Dorada:
Esta parte del palacio, de estilo barroco valenciano, cuenta con hermosas pinturas en el techo.
Se pueden admirar óleos y ornamentos religiosos de gran valor artístico.
Santa Capilla:
Es uno de los lugares más emblemáticos del palacio. Se trata de un pequeño oratorio pero con una
arquitectura muy interesante y en la que diferentes estilos han dejado su huella.