До 1891 года этот храм был главным святилищем Бали. Местные жители утверждают, что Танах Лот построил священник Данг Хьянг Нирартаха в XV веке. В одно из своих путешествий по южному побережью он увидел красивое место на острове и решил там отдохнуть. Несколько рыбаков увидели священника и преподнесли ему подарки, а Нирартаха, приняв подарки, решил провести на маленьком острове всю ночь. Наутро он обратился к рыбакам, пришедшим вновь на то же место, и сказал им, что место это священно для поклонения балийским богам моря. Но слова Нирартаха разозлили приходского священника, и он настаивал, чтобы соперник ушел и никогда не появлялся. В ответ Нирартаха стал медитировать и сдвинул скалу, на которой сидел, в открытое море.
Теперь храм Танах Лот является одним из 7 храмов, расположенных на балийском побережье (20 километров от Денпасара). Он стоит на скалистом островке, а ядовитые морские змеи рядом с ним, по мнению местных жителей, охраняют святыню от злых духов и незваных гостей.
