Đền Vua Lê thờ vua Lê Thái Tổ (tức Lê Lợi Cao Hoàng Đế) nằm trong quần thể di tích thành Na Lữ. Đền xây theo kiểu hình chữ tam gồm 3 nhà, 7 phòng, tường xây bằng gạch vồ, mái lợp ngói máng, cột kèo, hoành phi bằng gỗ. Trên các hoành phi có trạm trổ hình long, phượng.

Cửa đền mở theo hướng Đông Nam thông ra bờ sông Mãng. Bao xung quanh đền là xây tường thành dài 600m, phía trước đền có khuôn viên rộng khoảng 1.000 m2. Trước đây, trong đền có nhiều hiện vật như: trống, chiêng, thanh kiếm, áo bào, bia..., hiện nay chỉ còn 2 lư hương bằng gang, 1 bia bằng đã khắc chữ Hán Nôm chìm ghi lại họ tên những người quyên góp tu sửa lại đền, 3 cây đèn thắp.

Ngày 20/4/1995, đền Vua Lê được Nhà nước xếp hạng Di tích lịch sử văn hoá cấp Quốc gia, là nơi tập trung lễ hội, sinh hoạt văn hoá, văn nghệ của nhân dân trong vùng. Lê dựng trên một gò đất cao phía Bắc thành Na Lữ, gò này gọi là gò công Long (tức gò rồng) - trong thành có 4 gò đất nổi lên được các triều đại vua phong kiến đặt cho 4 tên: Long, Ly, Quy, Phượng.

Theo truyền thuyết và những tư liệu lịch sử: Đền Vua Lê vốn là cung điện trong thành Na Lữ. Thành do Cao Biền nhà Đường xây dựng, sau Nùng Tồn Phúc (cha của Nùng Trí Cao) tiếp tục xây dựng từ thế kỷ XI. Nùng Tồn Phúc là thủ lĩnh châu Quảng Nguyên. Thời Lý Thái Tông niên hiệu Thông Thụy, năm thứ 6, tức năm 1039, tự xưng là Chiêu Thánh Hoàng đế đổi tên châu Quảng Nguyên làm nước Trường Sinh; sau đó cho dựng thành, thiết kế cung điện tại Na Lữ.

Trong kháng chiến chống Mỹ cứu nước, Nhà máy Giấy Cao Bằng đã sơ tán vào đền Vua Lê, sau đó Trường Đảng của tỉnh đến dựng lớp học phía trước đền. Qua nhiều giai đoạn lịch sử khác nhau, đền được tu sửa nhiều lần.

Các lễ hội tại đền Vua Lê thường được diễn ra vào ngày mùng 6 tháng Giêng âm lịch mỗi năm. Bên cạnh phần lễ được thực hiện từ sáng sớm dưới sự có mặt rất đông người dân trong vùng, phần hội bao gồm các hoạt động văn hóa văn nghệ, trò chơi dân gian: cờ tướng, cờ người, đẩy gậy, kéo co…, thu hút đông đảo người dân tham gia.