In 1305 werd Clemens V gekozen als paus en hij nam de beslissing om de pauselijke macht over te dragen naar Avignon om de politieke onrust van Rome op dat moment uit de weg te gaan. Met deze verhuizing was een nieuw onderkomen voor de pauselijke zetel vereist en werd het grootste middeleeuwse gotische paleis ter wereld gebouwd op de fundamenten van een oud bisschoppelijk paleis. Dit gebouw, hoewel begonnen onder Clemens V, werd groots uitgebreid onder Benedictus XII in 1334 en daarna zelfs nog verder onder Clemens VI in 1342 toen hij lid werd van het Palais Vieux (Oude Paleis) van Benedictus XII en het Palais Neuf (Nieuw Paleis). Al deze uitbreidingen hebben uiteindelijk een rijke en complexe geschiedenis weten te creëren, zoals we die vandaag de dag kennen. Het paleis beslaat maar liefst 15.000 vierkante meter, beschikt over tien versterkte torens, was de thuisbasis van Europa's grootste bibliotheek op dat moment, schitterende fresco's en nog veel meer.



