Сегодня этот дворец находится в самом центре исторической части Вильнюса, а тогда он был построен в саду за городом. Исторические источники утверждают, что на том месте, где стоит этот дворец, еще в XVI в. располагалась усадьба Николая Радзивилла Черного. Более чем через сто лет тот же вельможный род обновил усадебный дворец, придал ему ренессансные формы и декорировал в духе маньеризма. Войны и пожары значительно повредили это некогда самое красивое здание Вильнюса, и заново отреставрировано оно было лишь в конце ХХ в. Теперь здесь располагается Литовский художественный музей, один из залов которого посвящен бывшим хозяевам этого места — Радзивиллам.
