W bialskim hrabstwie Radziwiłłów nad rzeczką Rytą, zwaną dzisiaj Klukówką, w pobliżu jej ujścia do Krzny zbudowano w XVII wieku wodny młyn i nazwano go Kozulą. Należał on do folwarku Grabanów, będącego własnością Radziwiłłów. W 1781 roku dzierżawcą tego folwarku został komisarz dóbr bialskich, Józef Niewiadomski z Niewiadomej (1730-1785) herbu Prus I, żonaty z Marią Żaboklicką. Ich jedyny syn Tadeusz dzierżawił ten majątek do roku 1818, w którym to w wyniku posesji zastawnej przeszedł w ręce Adama Niepokojczyckiego. Na początku lat dwudziestych XIX wieku Prokuratoria Masy Radziwiłowskiej sprzedała grabanowski folwark niejakiemu Pawłowskiemu, zaś w drugiej połowie XIX stulecia jego właścicielem został Marcin Szulc. 

W tym czasie nie tylko młyn nad Klukówką, ale również wyodrębniony w tym miejscu folwark, a później powstałą w sąsiedztwie wieś nazwano także Kozulą. W 1881 roku córka Marcina Szulca wniosła w wianie kozulski majątek Edwardowi Połozowskiemu, wychodząc za niego za mąż. 

Część północna pałacu

Nowy właściciel, inżynier konstrukcji mostowych, postanowił zbudować w Kozuli odpowiednią dla siebie siedzibę i w latach 1891-1893 wzniósł - według projektu nieznanego nam architekta - pałac o nieregularnej bryle, którego styl możemy określić jako eklektyczny, zbliżony do francuskiego neorenesansu. Główny korpus, postawiony na planie zbliżonym do kwadratu, otrzymał dwie kondygnacje. Stanowił on południową część budowli.

Elewacja ogrodowa części południowej

Część północna, jednokondygnacyjna zbudowana została na rzucie prostokąta. Parterowy pawilon połączył obie te części, które pokryte zostały dachem czterospadowym, blaszanym, z szerokimi okapami, podpartymi drewnianymi, dekoracyjnymi kroksztynami. Wszystkie naroża pałacu oraz obramienia okien na parterze otrzymały bonie. Ściany między boniami olicowano czerwoną cegłą. Szereg rozrzuconych w różnych miejscach ryzalitów i tarasów pogłębiał nieregularność budowli. Ta nieregularność zwiększyła się bardziej w późniejszych latach, kiedy dostawiono jeszcze kilka przybudówek. Fronton pałacu skierowany został ku północy i tam znalazły się główne drzwi wejściowe.

Fronton pałacu

Elewacja zachodnia

W tym samym czasie, kiedy budowano pałac, powstawał wokół niego pałacowy park, w organizacji którego wykorzystano rosnące już wcześniej jesiony i wiązy oraz olchy porastające brzegi płynącej w pobliżu Klukówki. Nasadzono również wiele innych drzew, obcych dla tutejszych terenów, takich jak chociażby skrzydłoorzech kaukaski. Między nimi poprowadzono kilka alejek, utworzono też w najbliższym sąsiedztwie pałacu rabaty kwiatowe.

Pałacowy park

Na północny wschód od pałacu zgrupowano wokół prostokątnego podwórza zabudowania gospodarcze. Tam też założono sad oraz ogród warzywny, które rozciągały się już poza parkiem. Ogrody te wraz z częścią gospodarczą i parkiem zajęły obszar 10 hektarów.

Zachowany staorzew

I wojnę światową pałac, park i budynki gospodarcze przetrwały w dobrym stanie. W 1930 roku Edward Połozowski gospodarzył - łącznie z folwarkiem Julków, który również należał do niego - na 286 hektarach. W miarę upływu lat poczęły jednak narastać kłopoty z prowadzeniem gospodarstwa. Uzyskiwane dochody nie były na tyle wysokie, aby można było spłacać zaciągnięte kredyty i w 1936 roku kozulski majątek został zlicytowany. Kupił go, płacąc 60 tysięcy złotych, Kazimierz Tołłoczko (1879-1969), syn powstańca styczniowego, dyrektor departamentu w Ministerstwie Pracy i Opieki Społecznej, zastępca prezesa Międzynarodowej Rady do Spraw Repatriacji, żonaty z Janiną Dmochowską (1884-1944) herbu Pobóg.

Trzy lata później wybuchła II wojna światowa, ale zarówno pałac, jak i park oraz zabudowania gospodarcze nie zostały podczas niej zniszczone. Po zakończeniu wojny majątek został rozparcelowany, zaś założeniem pałacowo-parkowym administrował Państwowy Zarząd Nieruchomości Ziemskich, by w 1947 roku przekazać go Zakładowi Opieki Społecznej, który użytkuje go po dzień dzisiejszy. Budynek pałacowy został gruntownie wyremontowany, przystosowując go na potrzeby domu spokojnej starości. Dobudowano też od wschodu nowe skrzydło, burząc pierwotny, oryginalny kształt pałacu. Przeprowadzono także remont budynków gospodarczych, zmieniając ich przeznaczenie, a w dawnym sadzie zbudowano kotłownię i szklarnię.

Współczesna dobudówka

 Zmianom uległ również park. Znikły rabaty kwiatowe i dawne alejki, starodrzew został znacznie przerzedzony, w wielu miejscach powyrastały  różnogatunkowe samosiejki i nasadzono nieco młodych drzew i krzewów ozdobnych, tworząc z nich żywopłoty obrzeżające na nowo wytyczone ścieżki i wyasfaltowaną drogę dojazdową do pałacu.