Theo sử sách ghi lại, Đền Phú Xá là một trong những di tích lịch sử sắn liền với chiến thắng trong trận thủy chiến trên sông Bạch Đằng năm 1288 do Hưng Đạo Đại Vương Trần Quốc Tuấn chỉ huy. Đó là chiến công đỉnh cao nhất trong ba lần đọ sức của quân dân Đại Việt với quân xâm lược Nguyên Mông thế kỷ 13. Tương truyền, khi đó để chuẩn bị cho cuộc đại chiến trên sông Bạch Đằng, Trần Hưng Đạo đã lấy làng Phú Lương xưa (nay là tổ dân phố Phú Xá, phường Đông Hải 1) làm nơi cất giữ kho lương thảo, phục vụ cho chiến đấu. Trận chiến sông Bạch Đằng đại thắng, Đại tướng quân Trần Hưng Đạo tiếp tục chọn làng Phú Lương là nơi mở hội khao thưởng quân sĩ trước khi kéo quân về Vạn Kiếp. Năm 1300, khi Trần Hưng Đạo qua đời, dân làng Phú Lương đã lập đền thờ Phú Lương (tức Đền Phú Xá ngày nay) để tưởng nhớ công lao của người.

Đền Phú Xá không chỉ là nơi nhân dân tưởng nhớ công lao của Hưng Đạo Đại vương Trần Quốc Tuấn, nơi đây còn thờ tụng Nữ tướng hậu cần Bùi Thị Từ Nhiên, một người tướng nuôi quân trong quân đội của Hưng Đạo Đại Vương Trần Quốc Tuấn, cùng dân làng Phú Lương góp phần vào chiến thắng Bạch Đằng lịch sử. Theo sử sách ghi lại, năm 1288, khi đội quân của Trần Hưng Đạo trên đường đi đánh giặc Nguyên qua làng, bà Bùi Thị Từ Nhiên - người con dâu họ Phạm của làng với tinh thần yêu nước đã tự mình đem thóc gạo, vận động dân làng đóng góp, lập kho lương thảo để phục vụ tướng sĩ nhà Trần đánh giặc.

Do phải chiến đấu trên sông nước nên việc mang theo lương thảo gặp khó khăn, bà đã nghĩ cách làm bánh đa tráng bằng bột chín để quân sĩ mang theo, sử dụng là món lương khô rất thuận lợi trong chiến đấu. Để ghi nhớ công lao của bà trong cuộc chiến với quân Nguyên Mông, trước khi rút quân về Vạn Kiếp, Trần Hưng Đạo đã phong tặng cho bà là Nữ tướng hậu cần. Năm 1328, Nữ tướng hậu cần Bùi Thị Từ Nhiên qua đời, dân làng nhớ công lao của bà đã tạc tượng thờ bà tại đền thờ Phú Lương cùng với Trần Hưng Đạo.