Nguồn gốc lịch sử sâu xa, chùa Đỏ là tên gọi dân dã của Linh Tự Độ, xưa thuộc xã Đông Khê huyện An Dương phủ Kinh Môn Đạo, Hải Dương. Thuở xa xưa, chùa tọa lạc trên khu bãi bồi thường có người chết trôi dạt vào. Quan nha khám nghiệm tử thi bắt dân sở tại phải phục dịch và hay hạch sách phiền nhiễu dân làng. Do đó người ta nhường khu bãi bồi ấy cho Đông Khê, xã đầu tổng lại có nhiều người đậu đạt làm quan không sợ bị hạch sách, dân làng dựng một ngôi chùa nhỏ ở khu gò cao gần bờ sông thờ Phật, cầu Như Lai độ cho linh hồn những người xấu số.

Chùa Đỏ đã được sửa chữa nhiều lần với quy mô ngày một mở mang. Theo bia ký của chùa hiện còn ghi việc sửa chữa lớn vào năm Đinh Dậu – Quý Mão (1717 – 1723) đài Lê Dụ Tông (bia tạo năm Bảo Thái thứ 6 (1725) và trùng tu năm Tự Đức 32 ghi việc sửa chữa ghi tên nhiều quan chức của tỉnh Hải Phòng, của tỉnh Hải Dương cung tiến chữa chùa). Cho đến trước cách mạng tháng tám 1945, Chùa Đỏ là một chùa đẹp, nhiều bản đồ thành phố ghi tên. Trong khoảng thời gian Pháp đô hộ (1946 – 1954) và cuộc chiến tranh phá hoại của đế quốc Mỹ (1964 – 1973) chùa bị hư hại nhiều.

Chùa có kiến trúc độc đáo chưa từng có trong lịch sử kiến trúc chùa chiền Việt Nam Kiến trúc cổ diêm chồng đấu có 3 tầng 20 mái, mối liên hệ giữa Tiền đường – Trung đường và Hậu cung đã xử lí hai mái giao nhau, tạo ra sự hòa quyện giữa các khu, liên kết khéo léo các khu lại tạo ra hình khối liên kết nguy nga, hoành tráng. Chùa được chia làm ba cung chính: Phía ngoài là mặt Tiền đường, ở giữa là Trung đường, phía sau là Hậu cung.

Chùa Đỏ cao tới 26m. Cách trang trí bên trong và trên mái Tiền đường được thiết kế một tháp 7 tầng cao 5m, chân tháp cao 1,2m, bên trên tháp có sen, trong tòa sen có cột cờ cao 5m, để treo cờ trong mùa lễ hội. Ở Trung đường có hàng “hoa chanh” được cách điệu là các lá đề kép bằng men màu xanh cổ chạy dọc nóc chùa. Trên mỗi lá đề kép đều có biểu tượng Linh Độ Tự. Hậu cung có hai tầng mái đao, ở giữa trên nóc mái có đặt lá bồ đề (cao 1,20m) như ngọn lửa bập bùng, thể hiện sự tinh khiết, trong sáng của đạo Phật, của tăng ni, Phật tử hướng thiện cứu khổ, cứu nạn. Xung quanh các tầng mái đều lắp lá đề kép, làm bằng chất liệu đặc biệt, ở giữa trang trí nhiều bóng đèn xung quanh và được thắp sáng trong những ngày đại lễ. ; Mặt chính chùa làm bằng đá xanh, cột được trang trí những cọn Rồng, mang đậm sắc thái nghệ thuật thời Lí Trần.

Bên ngoài Chính điện tầng một có bố trí 4 cây cột đá (đường kính 50 cm, cap 4,2m) chạm khắc Long – Phượng, đối xứng hai bên, giữa các cột là các lan can bằng đá chạm khắc “Tùng – Trúc – Cúc – Mai” được biểu hiện ở dạng hóa Rồng. Bệ dưới ốp đá chạm trổ mây và hoa sen nở nền chùa được tạo dựng trên một tòa sen khổng lồ với ý nghĩa Liên Hoa Tạng Giới.

Những ngày đầu xuân, người dân thành phố Hoa phượng đỏ nô nức đến vãn cảnh chùa, vừa thỏa mãn lòng chiêm bái và cầu cho một ăn mưa thuận, gió hòa ở một địa danh tâm linh.