Gradac je dobio ime po utvrdi koja se nalazila na uzvisini iznad crkve sv. Mihovil. Nekada je na njegovom području bio smješten i srednjovjekovni grad Lapčan ili Labinac kojeg u svojim zapisima spominje bizantski car Konstantin Porfirogent pod nazivom Labineca.