Палац побудований в 1762 році нащадками Тимофія Надаржинського у стилі класицизму з елементами бароко із цегли і оштукатурений. Другий власник маєтку з 1842 року князь Василь Голіцин – Рябчик добудував флігелі. В одному з них в 1864 році три літніх місяця за запрошенням Олексія Голіцина проживав 24 - річний студент Санкт-Петербурзької консерваторії Петро Чайковський. В Тростянці він написав свій перший симфонічний твір увертюру до драми «Гроза» М.Островського. Останній власник маєтку цукрозаводчик Л. Є. Кеніг перепланував кімнати палацу та добудував другий поверх. Дубові сходи на другий поверх збудовані без жодного цвяху, прекрасно збереглися до теперішнього часу.
В палаці на цей час розташована картинна галерея, яка займає чотири зали першого поверху палацу. Галерея налічує більше 100 полотен сучасних майстрів пензля з України, Росії та Польщі, які з 2006 по 2011 роки з’їзджалися на пленери та дарують деякі свої картини місту. В 2014 році теж відбувся пленер художників, які приїздили до нас з різних куточків України. В одному із залів знаходиться сучасний білий рояль. Декілька разів на рік в палаці проводяться вечори класичної музики, на яких показують свою майстерність гри на фортепіано, скрипці, віолончелі музиканти з України, Японії, Німеччини, Південної Кореї. Кожного року проходять дні Чайковського, які з 2012 року проходять в форматі дводенного фестивалю «Чайковський FEST». Палац приваблює весільні пари для проведення урочистого шлюбного обряду та різні організації для проведення семінарів, тематичних вечорів тощо.
