Petit Palais ehitati 1317. See asub põhjaosas ruudu ees elukoha paavsti Ühendriigid, ja on sellise nimetusega, sest tema väiksus ja väärtust võrreldes palee paavstide.

Lugu tema välimus ebamäärane: vastavalt üks versioon - see ehitati vennapoeg paavst Johannes XXII, Arnaud de Via teiselt - see ehitati kardinal Bérengère F. vanem. Pärast tema surma, palee ja alused ostis kardinal Arnaud de Via. Aastal 1335 Via De suri ja palee kuulus keegi saabumiseni paavst Benedictus XII, kes ostsid seda uuesti ja muutunud ametlik elukoht peapiiskop Avignon.

Hoone oli tõsiselt vigastatud aastatel 1396 poolt 1411. Kuna seda peeti linnus Avignon paavstide kindlustatud. Pärast sõjategevuse lõppu, palee jooksul hakkas lagunema. Aasta teisel poolel XV sajandil, piiskop Alain de Kotivi ja tema järglane Giuliano della Rovere (kes hiljem muutuvad paavst Julius II) otsustas taastada hoone ja 1503. aastal andis ta peaaegu ürgse kujul. Della Rovere saabus Avignon 1474, kui ta nimetati tema onu, paavst Sixtus IV, piiskop Avignon. Ta lisas, peale lõuna ja lääne fassaadid Itaalia renessanss stiilis ja 1487 ehitati torni (hiljem, 1767. aastal hävis).

Prantsuse Revolutsiooni ajal, palee sai vara riigile, XIX sajandil oli katoliku kooli ja hiljem kutsekoolis. Alles lõpus XX sajandi territooriumil palee on muuseum.

Alates 1958. aastast, see maja muuseum keskajal. Aastal 1976 avati kunstigalerii teoste meistrid renessanss. 19 tuba muuseumi, eelkõige töö Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, sealhulgas siin on kuulus "Madonna" Botticelli.