Men theo con đường nhỏ chạy ven bờ biển thuộc khu 1, Đền Vạn Chài hiện lên đầy uy nghi, nằm tựa lưng vào chân núi Đầu Vái - vị trí trung tâm của dãy núi Chín Rồng. Đây là vị trí thế đất phong thủy linh địa đầu con chim phượng. Theo các tài liệu của địa phương để lại, đền Vạn Chài xưa là đình Chài thuộc thôn Ngân Hà, xã Đồ Sơn. Năm 1934, thực dân Pháp xây dựng pháo đài ở khu vực có đình tọa lạc nên đình được di dời về Vạn Thốc.

Đền được xây dựng vào giữa thế kỷ 19, thờ Tứ vị Thánh Nương, các bậc Thánh bảo hộ giúp đỡ che chở cho những cư dân làm ăn trên biển. Ngôi đền nằm ở vị trí cửa biển có khí hậu khắc nghiệt nên trải qua thời gian bị xuống cấp nghiêm trọng nên đã nhiều lần được trùng tu, tôn tạo lại; lần mới đây nhất vào năm 2018.

Theo truyền tụng của nhân dân địa phương, ngay sau khi đền được xây dựng vào cuối thế kỷ 19, người dân Vạn Chài được mùa đánh bắt hải sản ba năm liền, cá từng đàn về trắng đầy bến Vạn Thốc. Không chỉ vậy, trong những năm kháng chiến chống thực dân Pháp, đền Vạn Chài còn là nơi hoạt động của lực lượng Việt Minh; nơi hội họp học tập, tuyên truyền đường lối chính sách của Đảng. Cũng có thời điểm, đây là nơi bình dân học vụ của con em cư dân miền biển.

Trải qua thăng trầm của lịch sử, sau nhiều lần tu sửa, đền Vạn Chài hiện có kiến trúc mặt bằng theo kiểu chữ tam, gồm ba gian tiền đường, ba gian trung đường và ba gian hậu cung. Toà tiền đường gồm bố bộ vì, vì kiểu bốn hàng chân cột, các cột được kê trên chân tảng đá xanh cổ; các kiện gỗ được chạm khắc theo các đề tài truyền thống như lá lật, hoa lá thiêng.

Đền Vạn Chài là một công trình kiến trúc cổ truyền, đáp ứng nhu cầu sinh hoạt văn hóa tâm linh, tín ngưỡng của người dân miền biển. Ngày nay, nhân dân địa phương đang từng bước khôi phục lại những nét sinh hoạt văn hóa lễ hội truyền thống, để ngôi đền được xếp hạng di tích lịch sử cấp thành phố trường tồn mãi theo thời gian.