Theo truyền thuyết, trong trận thủy chiến với giặc Nguyên Mông trên sông Bạch Đằng năm 1288, khi trời sẩm tối những ngư dân đang đánh cá gần đảo Hòn Dấu phát hiện một thi thể lập lờ trên sóng nước. Khi đốt đuốc tới gần, thấy thi thể người mặc áo giáp trụ, qua trang phục và tất cả những gì thu thập được mọi người nhận ra đây chính là vị võ tướng nhà Trần hi sinh trôi dạt về đây. Với sự tri ân thành kính, họ đã cùng nhau khâm liệm trong đêm để hôm sau an táng. Khi trời vừa sáng, những người có mặt đã vô cùng ngạc nhiên thấy thi thể vị võ tướng bị mối đùn lên lấp kín. Biết tướng quân được thiên táng họ đã cùng nhau quỳ xuống khẩn cầu xin được sửa sang phần mộ cho đẹp đẽ.

Theo Đại Nam Nhất thống chí và tương truyền, vào thời Hậu Lê, vua Lê ngự giá kinh lý vùng Đồ Sơn và nghỉ đêm trên Đảo Dấu, đêm đó nhà vua đã mơ thấy ông già râu tóc bạc phơ, vai đeo chiếc giỏ, tự xưng là thần Đảo. Sáng hôm sau lên thuyền nhà vua kể lại câu chuyện cho quân lính cùng nghe rồi nói “Nếu là thần Đảo, hãy cho ta một báo ứng”. Vừa dứt lời, có một con cá quẫy mạnh nhảy lên thuyền. Thấy linh nghiệm, vua bèn sắc phong cho tước hiệu Lão Đảo Đại Thần Vương rồi truyền cho trăm họ lập đền thờ phụng.

Để tưởng nhớ công ơn của vị võ tướng, người dân Đồ Sơn mở hội từ ngày mùng 1/2 âm lịch hàng năm, nhưng lễ hội chính diễn ra vào 3 ngày từ mùng 8 đến mùng 10/2 âm lịch để cầu cho quốc thái dân an. Trong lễ hội có tục rước đèn, thả thuyền giấy vào đầu giờ Tý (23 giờ đêm ngày 8/2 đến 0 giờ ngày 9/2 âm lịch), mỗi lần như thế mặt biển quanh đảo Hòn Dấu bỗng lại cồn lên dữ dội như chứng giám cho lòng thành kính của muôn dân. Bởi vậy, các tàu bè đi bắc về nam đều qua cửa đền Nam Hải Thần Vương mong được chở che trước sóng to gió lớn và gặp nhiều may mắn.