Na zapadnom dijelu Kaštel Štafilića nalazi se kula Nehaj. Nju su Ljudevit i Ivan Lodi počeli graditi 1548. godine. Kula je sagrađena do gornjih pragova prozora prvog kata jer su radovi prestali nakon smrti braće Lodi. S obzirom da nisu imali muških potomaka, a kćeri i zetovi su odustali od gradnje, kula Nehaj nije nikada dovršena. Kasnije kula Nehaj prelazi u vlasništvo splitske humanističke obitelji Papalić, po kojima se zvao i Kaštel Papalić, ali ga ni oni nisu dovršili.