Župna crkva sv. Fabijana i Sebastijana spominje se u Hvarskom statutu 1331. godine kao Santa Maria di Ielsa, no nije poznato kada je promijenila titulara. Crkva se širi u 15. stoljeću na tri broda. Zbog opasnosti od Turaka 1535. godine dobiva oblik tvrđave, a 1573. godine naknadno je fortificirana. Krajem 19. stoljeća crkva je temeljno obnovljena i dograđen je novi zvonik. Crkva ima četiri kapele: dvije veće iz 17. stoljeća i dvije manje iz 19. stoljeća. Između crkve/tvrđave i obrambenog zida nalazi se Lapidarij. Centar za kulturu otoka Hvara 1970. godine u taj prostor smješta dvadesetak kamenih predmeta iz antičkog i srednjovjekovnog doba. Među njima su: nadgrobna ploča iz rimskog razdoblja, reljef Nikole Firentinca iz 15. stoljeća, mletački lav, kameni stol viteza Ivana Obradića