Làng Kha Lâm vốn là nơi sơn thủy hữu tình, phía Bắc là dãy đồi Thiên Văn thơ mộng, phía Nam tiếp giáp vùng sông nước mênh mang. Thế đất nơi đây ví như Long chầu, Hổ phục, nơi địa linh sinh nhân kiệt. Tự hào với truyền thống vẻ vang của dân tộc, mảnh đất Kha Lâm thời Trần cũng đã sớm xuất hiện những tên tuổi lớn. Đó là Chiêu Chinh Công Chúa và 4 vị tướng người làng Kha Lâm đã có công lớn trong cuộc kháng chiến chống giặc Nguyên lần thứ 2 và 3.

Đền Kha Lâm buổi đầu là 1 ngôi miếu nhỏ tọa lạc trên mảnh đất của thôn Đông Cao xã Kha Lâm (vị trí ngôi đền ngày nay). Phía trước cửa đền xa xưa là vùng đầm nước mênh mang, việc đi lại chủ yếu bằng thuyền. Nơi đây xưa kia là bến thuyền của Đức Bà phục vụ cày ấy, thu hoạch sản vật khu ruộng xứ Đồng Ngoài. Khi Công Chúa mất, ruộng được chia đều nên người dân lấy đó mang ơn mà lập đền thờ nơi đây để thuận tiện việc cúng lễ. Về sau dân làng dựng 1 ngôi đền khang trang, to đẹp hơn tượng đúc bằng đồng đen, hàng năm cứ vào dịp thánh đản (mùng 6/2) và thánh hóa (mùng 3/6) dân làng mở lễ hội rất đông vui.

Đền Kha Lâm ngày nay, là một quần thể văn hóa tâm linh tiêu biểu của địa phương. Nơi đây không chỉ tôn thờ những vị phúc thần, võ tướng có công với nước,với dân mà còn lưu giữ những giá trị văn hóa truyền thống quý báu mang đậm bản sắc dân tộc. Đó là truyền thống đấu tranh bất khuất chống giặc ngoại xâm, tinh thần tương thân tương ái, vị tha, nhân hậu, yêu nước, thương nòi, ăn quả nhớ người trồng cây. Trong Đền còn có ban thờ các Bà mẹ Việt Nam anh hùng và các liệt sĩ đã hy sinh vì Tổ quốc.