Pierwszym znanym z dokumentów właścicielem żeliszewskiego majątku był Marcjan Grzybowski (1700-1773) herbu Prus (II-Wilczekłosy), podkomorzy liwski, ożeniony po raz pierwszy prawdopodobnie w 1720 roku z Różą Mostowską (1700-?) herbu Dołęga, a po raz drugi w marcu 1728 roku z Teresą Teofilą Cieszkowską (1700-?) herbu Dołęga. On to w drugiej połowie XVIII wieku zaczął budować w Żeliszewie murowaną siedzibę. Na planie wydłużonego prostokąta stanął parterowy budynek, przykryty wysokim dachem łamanym, z piętrowymi, trójosiowymi ryzalitami zamkniętymi trójbocznie na osi elewacji frontowej i ogrodowej, zwieńczonymi trójkątnymi naczółkami, które przebito okulusami, oraz z dwoma skrajnymi, jednoosiowymi ryzalitami tylko w elewacji ogrodowej, zamkniętymi półkoliście. Elewacja frontowa była piętnastoosiowa, ogrodowa natomiast jedenastoosiowa. Główne drzwi wejściowe prowadziły do kwadratowego westybulu, za którym znajdował się obszerny salon o ściętych narożach. Układ pomieszczeń w tej pierwotnej budowli był dwutraktowy. Jej budowę zakończył syn Marcjana z drugiego małżeństwa, Stanisław Grzybowski (1730-1784), również podkomorzy liwski, ożeniony z Józefą Młocką (1730-?) herbu Prawdzic, o czym świadczyła data 1786 umieszczona na frontonie ryzalitu środkowego elewacji ogrodowej. 

Tak wyglądał pałac w Żeliszewie tuż przed 1970 rokiem

Jednocześnie z budową pałacowej siedziby urządzano pałacowy park. Nadano mu charakter krajobrazowy, wykorzystując rosnący już wcześniej starodrzew. Na środku obszernej polany, znajdującej się w pobliżu pałacu, wykopano prostokątny, wydłużony staw i połączono go kanałami z mniejszymi stawami, rozrzuconymi w głębi parku. Duży staw otoczony został szpalerem grabów, nad mniejszymi rosły luźno wierzby i olchy.

Park pałacowy w 2018 roku

Kolejnym i ostatnim z Grzybowskich panem na Żeliszewie był syn Stanisława, Józef  (1760-?), podstoli czerski, późniejszy prefekt departamentu siedleckiego Księstwa Warszawskiego, ożeniony z Anielą Wodzińską (1760-1828) herbu Jastrzębiec. W 1801 roku sprzedał on rodowy majątek Franciszkowi Kuszlowi z Hulidowa (1750-?) herbu Drogosław, stolnikowi podlaskiemu, żonatemu z Franciszką Świdzińską (1770-?) herbu Półkozic. Następnym właścicielem Żeliszewa został jedyny syn Franciszka i Franciszki Kuszlów, Antoni Kuszel (1790-1854), wychowanek ekskluzywnej szkoły Theresianum w Wiedniu, oficer w oddziale księcia Józefa Poniatowskiego, dowódca pułku jazdy konnej podczas Powstania Listopadowego. W 1833 roku Antoni Kuszel sprzedał żeliszewskie dobra Dominikowi Telesforowi Lisieckiemu (1801-1846) herbu Lis, również powstańcowi listopadowemu, a poza tym prawnikowi, dziennikarzowi, poecie i wolnomularzowi, żonatemu z Emilią Konstancją Gostomską (1808-?) herbu Nałęcz. Przez kilka kolejnych lat majątkiem tym handlowano w obrębie jednej rodziny. Najpierw, w 1845 roku, Dominik Lisiecki sprzedał go swojej teściowej, Barbarze z Zaborowskich Gostomskiej, a później, w 1853 roku, Barbara Gostomska sprzedała go swojej córce Emilii Konstancji, czyli owdowiałej już żonie Dominika Lisieckiego. W 1873 roku spadkobiercy Emilii Lisieckiej zostali zmuszeni do pozbycia się żeliszewskiej włości drogą licytacji. Nabywcą okazała się Maria z Hołowińskich Kuszlowa (1860-1893), żona Władysława Kuszla i w ten sposób Żeliszew znalazł się ponownie w rękach Kuszlów, którzy dokonali remontu pałacu i pewnej jego przebudowy, ale dotyczącej tylko wewnętrznych pomieszczeń.

Pałac w trakcie odbudowy - elewacja frontowa

Istotną przebudowę przeprowadził następny jego właściciel, hrabia Witold Grabowski (1881-1979) herbu Ciołek, absolwent z 1908 roku Akademii Sztuk Pięknych w Petersburgu, kawaler maltański, rotmistrz 1 Pułku Ułanów Krechowieckich, żonaty od 1919 roku z Heleną Lenkiewicz-Ipohorską (1900-1970) herbu Kotwicz. Przebudowa ta polegała na podwyższeniu pałacu o jedno piętro, zlikwidowaniu trójbocznego zamknięcia ryzalitu frontowego i zastąpienie go prostą ścianą, do której zamocowano na wysokości piętra niewielki balkon. Przed ryzalitem środkowym elewacji ogrodowej zbudowano portyk, którego cztery toskańskie kolumny dźwigały dość duży balkon otoczony żeliwną balustradą. Ścianę ponad balkonem ozdobiono dwoma stiukowymi wieńcami. Stiukowe dekoracje znalazły się również na płycinach pod oknami na piętrze ryzalitów bocznych. Bonie pokryły naroża ryzalitów środkowych na całej wysokości, a bocznych tylko na parterze. Oddzieliły też od siebie wszystkie okna elewacji frontowej na pierwszej kondygnacji. Do obu elewacji szczytowych dostawiono parterowe przybudówki z tarasami. 

Pałac widziany z parku

Hrabia Grabowski był ostatnim przedwojennym prywatnym właścicielem żeliszewskiego pałacu. Podczas wojny nie został on zniszczony, ale po wojnie, gdy stał się własnością państwową, jego dewastacja postępowała bardzo szybko. W 1970 roku został zakupiony przez Zjednoczenie Przemysłu Farmaceutycznego "Polfa" z siedzibą w Warszawie w celu utworzenia w nim ośrodka wypoczynkowego dla pracowników. Kiedy rozpoczęto jego renowację, stwierdzono, że ściany są tak zagrzybione, iż trzeba je całkowicie rozebrać. Rozebrano je, poczęto stawiać nowe i na tym poprzestano. Przez bez mała 30 lat sterczały te ściany, wznosząc się niewiele ponad fundamenty. Dopiero w 2000 roku pałac znalazł się w rękach prywatnego właściciela, który obecnie doprowadził jego odbudowę do stanu surowego.