Đình Niêm Sơn Ngoại thuộc xã Kỳ Sơn được xây dựng vào thế kỉ 19. Đình thờ Thành Hoàng làng là ngài Đức Thánh thiện sĩ Đại Vương, một trong hai vị lãnh tướng có tài có công đánh giặc vào thời Lý Nam Đế. Vào thời vua Tự Đức ( Triều Nguyễn) đình Niêm Sơn Ngoại đã được xây theo hình chữ Đinh gồm năm gian tiền tế và ba gian hậu cung. Trải qua hai cuộc kháng chiến, đình không những là căn cứ cách mạng mà là nơi chứng kiến biết bao cuộc tra tấn dã man của thực dân và đế quốc Mỹ. Đối với chiến sĩ cách mạng của Đảng cũng tại sân đình, nhiều chiến sĩ cách mạng đã gan dạ, kiên cường quyết tâm bảo vệ Đảng, bảo vệ cách mạng, làm điểm tô trang sử hào hùng của dân tộc.

Trải qua biết bao biến động của lịch sử, cũng như phong sương, vũ lộ của thời tiết, Đình Niêm Sơn Ngoại càng xuống cấp. Trước tình hình đó, để đáp ứng nhu cầu thờ phụng tín ngưỡng của nhân dân, năm 2017 được sự đồng ý và hướng dẫn của cấp trên, cán bộ nhân dân làng văn hóa Niêm Sơn Ngoại đã quyết tâm thống nhất xây dựng lại đình Niêm Sơn Ngoại tại vị trí cũ. Sau 18 tháng thi công, đình Niêm Sơn Ngoại đã hoàn thành và được đưa vào sử dụng.Ngôi đình có diện tích gần 200m2, có kiến trúc hình chữ Đinh gồm 5 gian tiền tế và 3 gian hậu cung. Mái nộp ngóimỗi hài trang trí theo thế lưỡng nong trầu nguyệt. Công trình có trị giá gần 1.9 tỉ đồng. Nguồn kinh phí trên đều do các nhân khẩu trong làng và các nhà hảo tâm, con cháu xa quê đóng góp.

Đình Niêm Sơn Ngoại không chỉ tạo điều kiện cho bà con ở trong làng Niêm Sơn Ngoại có nơi thờ cúng, tưởng nhớ các vị thánh hiền có công khai làng, mở xóm mà còn là địa điểm giáo dục truyền thống, quê hương cho con cháu.