Az egykori ferences kolostort IV. Béla király alapította az akkoriNyulak szigetén, vélhetőleg a Domonkos rendi kolostor és a királyi ház építésével egyidejűleg, a XIII. század közepén. A ferences kolostor ma is látható, megmaradt romjai a gótikus templomhomlokzat, az egyik oldalfal maradványai, a kolostori temető és a temetőkápolna.

A romok megmaradását segítette elő, hogy a kolostor romjainak nagy részét beépítették az 1796-ban épült József nádor villájába, amelyet később Nádor szállóvá alakítottak. A szálló maradványait 1945 után lebontották. Az ekkor kezdeményezett kisebb régészeti feltárások eredménye volt, hogy a kolostor egyes újabb, addig fel nem tárt részleteit felfedezték.