Хълмът е обитаван още от III хил. пр. Хр. През V-VII в. н.е. тук се е намирал най-големият град на Византийската империя в провинция Долна Мизия - Зикидева.

През IX в. тук възниква старобългарско селище, което бързо се разраства. Изграждането на крепостната стена, която е запазена и до днес, започва през XII в. Стената е с дължина 1100 м, дебела на места до 3,40 м и висока над 10 м.

Крепостта е имала три входа, които се виждат и днес. Главният вход, който е бил отбраняван от кули, е разположен от запад. Вторият вход е т.нар. Малка порта (Асеновата) и се намира на северозападната крепостна стена. Третият вход - Френкхисарската порта, е в югоизточния край на крепостта и се охранявал от бойна кула. Тази кула е известна като Балдуиновата кула, на името на латинския император Балдуин Фландърски, пленен в битката при Одрин през 1205 г. от цар Калоян. Легендата разказва, че след битката Балдуин бил затворен в тази кула, където по-късно умира.

В централната част на крепостта е разположен дворцовият комплекс - няколко постройки, обградени от вътрешна каменна стена, две бойни кули и два входа. Включва тронна зала, дворцова църква и царски покои.