Đền Kỳ Sầm nằm ở Bản Ngần, xã Vĩnh Quang, cách trung tâm Thành phố Cao Bằng khoảng 5 km. Đền Kỳ Sầm thờ Khâu Sầm Đại Vương Nùng Trí Cao (1025 – 1055), người dân tộc Tày, một nhân vật có liên quan đến sự nghiệp giữ nước thời Lý (vua Lý Thái Tông thế kỷ XI). Nùng Trí Cao là con của thủ lĩnh Nùng Tồn Phúc và bà A Nùng. Vốn thông minh, lại được về kinh đô Thăng Long theo học, Nùng Trí Cao trở thành người có tài thao lược. Ông đã có một thời oanh liệt, đánh tan giặc Tống xâm lược, được vua phong Thái Bảo, được lưu danh trong lịch sử, là niềm tự hào của người dân Cao Bằng. Sau khi ông mất, vua lại sắc phong Khâu Sầm Đại Vương và cho lập đền thờ.

Đền Kỳ Sầm được công nhận Di tích lịch sử văn hóa cấp Quốc gia từ năm 1993. Trải qua nhiều thế hệ, truyền thuyết về Khâu Sầm Đại Vương Nùng Trí Cao đã đi sâu vào tâm linh và để lại dấu ấn sâu đậm trong đời sống văn hóa và tinh thần của nhân dân các dân tộc trong tỉnh. Lễ hội Đền Kỳ Sầm là một trong các lễ hội lớn của tỉnh, thu hút đông đảo du khách trong và ngoài tỉnh đến trẩy hội, vui xuân. Lễ hội được tổ chức với phần lễ và phần hội. Phần lễ được thực hiện từ tối mùng 9 âm lịch với các nghi lễ truyền thống được khôi phục lại gần giống thời xa xưa. Ngày hội mùng 10 âm lịch hằng năm là dịp để du khách đến dự hội, cầu lộc, cầu tài. Đến lễ hội, du khách được tham gia nhiều trò chơi dân gian: cờ tướng, tung còn, đu tre, đi cà kheo, bịt mắt đập bóng…

Năm nay, lễ hội còn có thêm các không gian hát then, chế tác đàn tính, thư pháp, sản vật địa phương… phục vụ du khách thập phương. Để lễ hội diễn ra vui tươi, an toàn, Ban Tổ chức Lễ hội phân công trách nhiệm cho các tổ và các thành viên phụ trách. Chỉ đạo, bố trí lực lượng dân quân, công an xã phối hợp với Đoàn thanh niên, Công an Thành phố chuẩn bị cho hoạt động của Lễ hội diễn ra tốt đẹp, lành mạnh, đúng với thuần phong mỹ tục.