Đình Lỗ Khê có từ thời Hậu Lê, ban đầu tương truyền là ngôi đền thờ đệ nhất thành hoàng Điện Hưng, được dân làng dựng vào cuối thời kỳ Hùng Vương ở bãi Đình Chiền, ngay trong khu vực đồn trại của Ngài. Đến khoảng thế kỷ III, dân làng chuyển đền từ ngoài đồng về chỗ hiện nay. Về sau đền được mở rộng và nâng cấp thành đình. Giữa thế kỷ XV thờ thêm 2 vị tướng tham gia khởi nghĩa Lam Sơn là Dương Trực và Tô Quang, cùng với Thủy thần Út Đầu Rền – một vị tướng từ thời Hùng Vương từng được phong “Phổ tế linh ứng đại vương”. Bốn vị thành hoàng này gọi chung là “Vạn cổ tứ linh”.