Tọa lạc trên đường Thiên lôi - con đường đã được chính ông đắp lên khi sinh thời.

Nhân dân địa phương được truyền ngôn lại rằng: Từ Nghĩa Xá được xây dựng trên chính mảnh đất của gia đình Phạm Tử Nghi. Trải qua bao biến thiên của lịch sử quê hương đất nước, từ Nghĩa Xá đã bao lần thay dạng đổi hình để cuối cùng định vị với dáng vẻ hiện tại, một thực thể kiến trúc hiện hữu của nghệ thuật dân tộc cuối thế kỷ XIX đầu thế kỷ XX.

Trong quá trình phát triển và mở rộng đô thị Hải Phòng, làng quê Nghĩa Xá đã hòa nhập trong đời sống thị thành cùng nhiều làng xã cổ truyền khác như: An Biên, Gia Viên, Lạc Viên, Hàng Kênh… Làng Nghĩa Xá xưa chỉ còn là hình dáng lờ mờ trong hồi ức của các cụ già. Cảnh quan làng xưa, xóm cũ tuy không còn nữa nhưng tên tuổi và truyền thống lịch sử của nó mãi mãi vang vọng trong tâm thức của nhân dân thành phố nhờ ngôi cổ Từ rất đỗi thân quen.

Từ Nghĩa Xá vẫn giữ được nét tĩnh mịch, hư ảo của chốn linh thiêng. Mặt khác môi trường ấy càng làm tăng thêm giá trị kim ngân cho công trình, nó là cái cổ kính hiếm hoi trong muôn vàn cái mới nở tràn, được hun đúc từ ngàn năm được bảo lưu, trân trọng trong cái văn minh tiến bộ của tốc độ đô thị hóa đến chóng mặt của thành phố.

Từ Nghĩa Xá được coi là ngôi đền tình nghĩa của nhiều thế hệ cư dân quê hương Phạm Tử Nghi và ông được tôn vinh là “Đức thánh Niệm”. Tên tuổi ông còn in đậm, thấm sâu trong lòng nhân dân, tương truyền ông rất linh ứng, bởi thế Từ Nghĩa Xá thờ ông được coi là một trong tứ linh từ của huyện An Dương xưa. Hàng năm, cứ vào ngày 14 tháng 9 âm lịch, nhân dân quang vùng nô nức trảy hội từ Nghĩa Xá, đình Niệm Nghĩa… và ngày hội trở thành một sinh hoạt văn hóa truyền thống sâu đậm của người dân Hải Phòng nói chung và “dân Làng Niệm xưa” nói riêng.