Anticamente il suo nome era Palombiano. Nulla di preciso si sa sulle sue origini poiché l'archivio comunale andò distrutto per un incendio nel 1799. Molti storici fanno risalire questo Castello al periodo intorno al XIV secolo, ad opera di monaci benedettini. Fino al 1798 il comune aveva sede nell'attuale frazione di Castel San Pietro (769 m s.l.m., un tempo denominato "Castel Belvedere") e faceva parte del dipartimento del Tronto, dipendente dal cantone di Amandola. Passata la bufera napoleonica e date le precarie condizioni del Castello, il comune e l'antico archivio furono trasferiti nella sottostante frazione di Palmiano, che cresceva economicamente e demograficamente. Nel 1799, al tempo del brigantaggio, Palmiano subì la più grande devastazione della sua storia: numerosi briganti, fingendosi paladini del governo Pontificio, scesero dalle montagne circostanti e lo assediarono, saccheggiando e incendiando numerose abitazioni. Fu proprio in tale circostanza che andò letteralmente distrutto l'archivio comunale, ricco di libri e antichi manoscritti di antico valore che oggi sarebbero serverviti per un'esauriente ricostruzione della storia del Castello