In epoca medievale il panorama della città era fortemente caratterizzato dalla presenza di torri gentilizie che rappresentavano la manifestazione tangibile del potere delle famiglie, ma erano anche vere e proprie costruzioni militari; la tradizione vuole che Federico II nel 1252 ne facesse distruggere addirittura novantuno.
Delle numerose torri di cui parla la storia di Ascoli, alcune sono integre, altre ridimensionate e inglobate nelle abitazioni, altre ancora utilizzate come torri campanarie. Le "torri gemelle" sono un esempio di torri gentilizie perfettamente conservate: costruite nel XII secolo con semplici conci di travertino, presentano fitte feritoie e alte finestre sulla sommità. Alte circa 25 metri, leggermente pendenti, sono annesse al palazzo della famiglia Merli, il cui prospetto sulla piazza è stato realizzato dall'architetto Vincenzo Pilotti (1872-1956), mentre la facciata laterale è opera neoclassica di Ignazio Cantalamessa.