Ngày 24/11/2000, chùa Phật Tổ được Bộ Văn hóa – Thông tin công nhận là di tích lịch sử - văn hóa Quốc gia.
Cà Mau có nhiều thắng cảnh, di tích nổi tiếng gắn với thời kỳ khai khẩn đất và Sắc Tứ Quan Âm Cổ Tự mà dân gian hay gọi chùa Phật Tổ là một di tích kiến trúc tâm linh độc đáo còn lưu giữ được dáng vẻ đặc trưng của một mái đình Nam Bộ xưa.
Chùa được xây dựng vào năm 1840, mang đậm lối kiến trúc cổ của thế kỷ 19, đây là nơi truyền giáo Phật pháp sớm nhất ở vùng đất Cà Mau. Nguyên cách gọi tên chùa Phật Tổ là do sự tôn kính từ lâu đời của người dân vùng Cà Mau với vị hòa thượng lập dựng chùa: Hòa thượng Thích Trí Tâm.
Chùa Phật Tổ đã qua nhiều lần tu sửa, lần đại trùng tu là vào năm 1937. Tuy nhiên về cơ bản vẫn giữ được hiện trạng của ngôi chùa cổ. Các hiện vật phụng thờ như tượng gỗ, khánh gỗ, độc bình, chuông đồng, câu đối, sắc phong của vua ban… vẫn còn lưu giữ, minh chứng cho sự phát triển Phật giáo của thời kỳ người Việt bắt đầu những bước tiến quan trọng trong công cuộc khẩn hoang và hình thành một xã hội cộng cư với ba dân tộc Kinh, Hoa, Khmer trên vùng đất phương Nam.
Mái chùa hình quả ấn, lợp ngói máng, kiến trúc sắc nét, mô phỏng mái đình ở vùng đồng bằng sông Cửu Long. Mái được chia thành phần nóc chính và mái nghi môn. Phần nóc chính thể hiện giá trị nghệ thuật đặc sắc của ngôi cổ tự với hình lưỡng long tranh châu cách điệu, bên dưới là phù điêu, hình ảnh mô tả cảnh thiên nhiên. Mặt chính trên nóc chùa đề 6 chữ: “Sắc Tứ Quan Âm Cổ Tự”.
Những đường cong ở đầu đao mái chùa thể hiện cảnh cá hóa rồng làm bằng xi măng ốp sứ cách điệu, dáng vẻ độc đáo. Mái nghi môn ở tầng thấp hơn lợp ngói máng, có họa tiết sống động và đề 4 chữ: “Quan Âm Cổ Tự”.
Hai bên cổng chùa các câu đối vẫn còn nguyên vẹn. Các bức vách hai bên chùa tạc hình ảnh theo thứ tự thời gian, các bức tranh này có giá trị thẩm mỹ tôn tạo thêm giá trị nghệ thuật của ngôi chùa.
Khuôn viên chùa khá rộng, được bố trí hài hòa, tượng Quan Thế Âm lộ thiên đứng trên tòa sen, tay cầm tịnh bình, nét mặt hiền hòa.
Cửa chùa mở theo hình bán nguyệt dẫn vào chánh điện. Chánh điện với diện tích 12m2, nền cao 8cm được lát gạch bông làm từ năm 1937. Ngôi Tam Bảo thờ nhiều tượng Phật, các tượng đều được làm bằng xi măng, chia thành 3 tầng, trên cùng là tượng Thích Ca Mâu Ni với kích thước lớn, tầng kế tiếp thờ tượng Đạo sư A Di Đà Phật, tất cả có 9 tượng Phật lớn nhỏ.
Nét đặc sắc trong đường nét kiến trúc ở Ngôi Tam Bảo là việc dùng đồ sứ ốp vào các họa tiết có chất liệu bằng xi măng tạo thành một án thờ có đường nét là hình ảnh các linh vật Long – Lân – Quy – Phụng được gắn lên tạo thành bao lam bao quanh ngôi chánh điện như một chiếc lộng che lấy các tượng Phật, mặc dù vật liệu xây dựng không làm từ chất liệu gỗ nhưng các họa tiết trang trí cổ điển tạo được nét hài hòa trong trang trí nghệ thuật của ngôi chánh điện.