Từ xa xưa, thời điểm mới khai hoang, chùa Hang được xây dựng trong một hang đá. Theo lịch sử ghi lại, vào thế kỷ thứ II (TCN), có một nhà sư từ Thiên Trúc đã đi cùng các thương gia sang Giao Châu (vùng đất Việt Nam ngày nay) để truyền bá đạo Phật. Chính ông đã dừng lại tại đây, chọn một hang đá để cư trú và mở chùa, đó chính là Cốc Tự cổ và ngày nay gọi là chùa Hang. 

Chùa Hang Đồ Sơn cũ ngày trước được xây dựng trong một hang đá, có chiều cao là 3.5m và rộng 7m, càng vào sâu bên trong thì chùa càng thu hẹp dần diện tích. Đi sâu vào phía trong hang núi là tượng Phật Quang - người đã dạy đạo cho Chử Đồng Tử (Tứ bất tử của người Việt xưa).

Điểm đặc biệt của ngôi chùa Cốc cổ đó chính là thế lưng tựa núi, mặt hướng biển cực đẹp. Vì vậy, không khí trong hang lúc nào cũng rất mát mẻ và dễ chịu, kể cả thời tiết bên ngoài có khắc nghiệt tới đâu. Trước đây, bên trong chùa còn có một bàn thờ đá tượng A Di Đà, vách đá bên trên là những bài thơ đề vịnh chùa Hang. Tuy nhiên, do ảnh hưởng của chiến tranh và lịch sử lâu đời nên những hiện vật này đã biến mất hoàn toàn. 

Ngày nay, sau khi đã trải qua nhiều lần cải tạo, trùng tu lại, chùa Hang Đồ Sơn mới đã được di chuyển và xây dựng lại cách đó khoảng 100m. Kiến trúc chùa mới đẹp và độc đáo hơn, với 3 tầng riêng biệt: tầng 1 dành cho việc bếp núc nấu ăn, tầng 2 là tòa Tam Bảo và tầng thứ 3 là điện Tây Phương.