U blizini Jelse, na rtu zvanom Gradina, podignuti su početkom 17. stoljeća augustinska crkva i samostan (jedan od četiri na otoku, uz Hvar, Sv. Nedjelju i Sućuraj). Red je ukinut u 18. stoljeću, a danas je tu groblje. U Hvarskom statutu iz 1331. godine spominje se Civitas Vetus Ielsae, ali se ne navodi lokalitet. Kako na području Gradine postoje ostaci čvrstih fortifikacijskih zidina koje su pregrađivale poluotok od mora do mora, Niko Duboković, hvarski intelektualac iz 19. stoljeća, pretpostavlja da je upravo tu bio Civitas Vetus Ielsae, utvrda koja je zauzimala čitav poluotok površine 6,5 hektara