Это место называют одним из самых интересных во всей области. Не смотря на то, что сегодня городок не слишком большой, у него довольно древняя история. Первый раз о нем упоминалось еще в летописях от XIV века, и уже тогда это было довольно развитое поселение. Замок уже тогда украшал город. Его история по данным летописей, восходит еще ко времени распада Киевской Руси на отдельные княжества. Тогда почти все они утратили авторитет, который ранее защищал границы от более крупных государств, и это потребовало компенсировать малочисленность войска более крупными оборонительными сооружениями.
Историки предполагают, что скорей всего город основали беглецы из одного из самых старых поселений Руси – Плинеска. Но так как город был уничтожен при нападении татарского войска, то его бывшие жители сразу задумались о том, чтобы защитить свой новый дом. Для этого они заложили почти сразу же крепость так что город и его оборонительное сооружение имеют приблизительно один и тот же возраст. Укрепление было построено на самой высокой точке будущей городской территории.
Практически сразу после своего окончательного завершения строение, как и вся местная территория, попадает в собственность Литвы. Потом как это часто бывало в то время, переходит в собственность Польши. И только к концу этого века становится владением Свидригайла, который к тому времени имел княжеский титул.
В тридцатых годах XV века местные бояре восстали против польской власти. И когда сюда пришли войска, восставшие предпочитали прятаться от них на территории замкового комплекса. Но крепость пала и снова оказалась собственностью поляков. Его получил некий Ян, род которого потом стал Олеськими.
Во время турецких и татарских набегов крепость и город страдали очень часто. Но самой главной проблемой оказалось то, что город был расположен на границе двух областей, и стал ключевым в борьбе трех стран еще в XIV веке. Однако потом он все же перешел в собственность русских.
