La storia riguardante le origini della chiesa di Sant'Andrea è dibattuta tra vari studiosi, alcuni dei quali hanno affermato che, laddove oggi insiste l'edificio di Sant'Andrea, vi fosse un precedente tempio dedicato a San Pietro, posto sotto quello oggi esistente, che spiegherebbe la sopraelevazione della chiesa. La curiosità non trova in realtà fondamento alcuno e non vi sono reperti storici o documentazioni che possano supportare questa congettura. In realtà è possibile affermare con certezza che il nucleo dell'attuale edificio religioso in origine fosse occupato almeno in parte da una chiesetta dedicata al Santissimo Salvatore e che la differenza di quota di cinque metri è dovuta all'abbassamento del livello stradale voluto in età angioina, per consentire un più facile accesso al mare, visto che fino ad allora tra la cinta muraria e il mare vi era un dirupo superabile solo attraverso una serie di rampe e scalinate. Per questo motivo l'intera area di Santa Maria è situata ad una quota più alta rispetto a quella al di là delle mura e i vicoli ortogonali al mare, di accesso al quartiere salgono attraverso scale o in maniera piuttosto ripida ed inusuale per una città pianeggiante come Barletta.

Elemento fondamentale nel prospetto principale è il portale monumentale che vede la presenza su ognuno dei due lati di quattro colonnine con capitelli, che dovevano probabilmente sorreggere un arco superiore. Il timpano è lunettato e al suo interno vi sono delle sculture scavate nella pietra che rappresentano il Cristo al centro con, a destra la Vergine e a sinistra Giovanni Battista, entrambi con le braccia tese e volte verso la figura centrale di Gesù. Nella parte laterale del timpano vi sono invece due angeli inginocchiati di profilo rivolti verso il centro della scena. Sui piedritti vi sono poi altre scene dell'Antico e del Nuovo Testamento.