Da sempre luogo fortificato a difesa dell'unico tratto di mura non protetto dai fiumi, il cassero medievale del Colle Pelasgico fu sistemato dal tiranno Galeotto Malatesta nel 1349 per poi essere ristrutturato dopo la "Guerra del Tronto" (1557-8) combattuta tra le truppe imperiali del Duca d'Alba contro i francesi del Duca di Guisa.
Dapprima fu costruito il campo trincerato ad ovest e poi, sotto papa Pio IV (1559-1565), furono realizzati i nuovi bastioni orientali necessari per resistere ai colpi di cannone.
Del precedente cassero si è conservata la parte occidentale con la torre a guardia della Porta Summa.
Nel giugno 1799 le strutture della fortezza furono incendiate dalle truppe francesi del generale Monnier e poi smantellate per impedirne l'uso da parte degli insorgenti.
Nel corso del sec. XIX la fortezza subì continue asportazioni delle pietre che la rivestivano.