Od roku 1626 biskupi warmińscy mieli w Smolajnach swą letnią rezydencję. Była to jedna z dwóch letnich rezydencji biskupów warmińskich. Druga z nich znajdowała się w Biskupiej Wsi (niem. Bischdorf), dzisiaj części Sątop-Samulewa. Obydwie wioski na letnie siedziby władców Warmii wybrał biskup Wacław Leszczyński.
Obecny pałac został wzniesiony przez przedostatniego polskiego biskupa warmińskiego przed zaborami – Adama Stanisława Grabowskiego. Budowę prowadzono w latach 1741 – 1746. Jest to prosty w swym barokowym pięknie budynek założony na rzucie prostokąta, dwukondygnacyjny, z ryzalitami na osi zarówno od strony frontowej, jak i ogrodowej. Ryzality zwieńczone są naczółkami, w których znajdują się herby biskupa Grabowskiego (Zbiświcz) ozdobione bogatym ornamentem roślinnym. Całość przekryta jest czterospadowym dachem.
Oprócz pałacu na zlecenie biskupa w 1765 roku wybudowano tutaj okazałą i oryginalną wieżę bramną wraz z przylegającym do niej budynkiem bramnym. Sama wieża przekryta jest interesującym barokowym hełmem zwieńczonym latarnią. Do dziś zachował się również mur ogrodzeniowy oddzielający rezydencję od folwarku, który w późniejszym okresie przeważnie puszczano w dzierżawę.
Chociaż budowę obecnego pałacu przeprowadził biskup Grabowski, to jednak największa świetność smolajneńskiej rezydencji przypada na rządy jego następcy – ostatniego polskiego biskupa warmińskiego przed zaborami – Ignacego Krasickiego. To dzięki „księciu poetów” Smolajny zaczęły tętnić życiem. Krasicki, znany ze swego zamiłowania do ogrodów, przez cały swój okres panowania na Warmii (1767 – 1795) prowadził tu szeroko prace zmierzające do ukształtowania ogromnego założenia parkowego o układzie krajobrazowym w stylu ogrodów angielskich. Gdy po roku 1780-tym przestał opuszczać Warmię na dłużej, Smolajny stały się jego ulubionym miejscem spędzania czasu. To tu powstały najwybitniejsze dzieła Ignacego Krasickiego, jak chociażby „Święta miłości kochanej Ojczyzny”.
W celu odpowiedniego ukształtowania ogrodów w marcu 1781 roku zwrócił się z prośbą do króla Prus Fryderyka II o wydzierżawienie mu sąsiadującej z pałacem parceli. Król, mający słabość do Krasickiego, wyraził zgodę i w kwietniu 1782 roku biskup podpisał kontrakt na dzierżawę wieczystą 22 mórg i 32 włók miary magdeburskiej. Dzięki temu Krasicki mógł przystąpić do urzeczywistnienia swych planów. W kolejnych latach założył park krajobrazowy z rzadkimi roślinami i kwiatami, które kosztowały majątek. Rozebrał również kaplicę pałacową i oficynę, która psuła mu projekt założenia parkowego. Najlepiej o pracach przy parku w Smolajnach pisał sam Krasicki w liście z lipca 1784 roku, do swego przyjaciela hrabiego Lehndorffa, dziedzica Sztynortu:
Miejscowość ta, jak sadzę spodoba się Panu, lecz trzeba, byś wrócił do nas z jaskółkami, aby wziąć udział w wielkich naradach w sprawie dobrania roślin, promenad, świątyń, kiosków, mostów, grobli etc., które w tej miejscowości projektuję, żeby upodobnić ją najzupełniej do innych wiejskich rezydencji upiększonych według gustu angielskiego.
Po II wojnie światowej, pałac oraz zabudowania przejęło Państwowe Gospodarstwo Rolne, które dla własnych potrzeb przekształciło układ wnętrz oraz przyczyniło się do systematycznej degradacji pałacu oraz folwarku. Od 1961 do 2914 roku w pałacu mieściły się szkoły rolnicze. Mimo to, wciąż pozostawał on własnością Archidiecezji Warmińskiej.
Niestety, mogliśmy się sami przekonać, jak niewiele zostało po dokonaniach biskupa. Trzeba wielkiej wyobraźni, żeby „zobaczyć” te cudne angielskie ogrody.