Đền Hội Phụ xưa là ngôi miếu được dựng trên tư dinh của ông bà Đào Kỳ - Phương Dung để thờ sau khi ông bà hóa. Ngôi đền hiện nằm ở phía sau, bên phải đình, trước đền còn 2 cây muỗm cổ thụ quanh năm xanh tốt. Ngôi đền mới được trùng tu năm 2022, phục dựng theo kiến trúc ngôi miếu cũ.
Theo truyền thuyết, đền Hội Phụ xưa kia gọi là đền Cự Trình hay còn gọi là miếu Cự Trình - theo bức đại tự còn lưu lại ghi “Tĩnh Túc miếu”, là tư dinh của Đào Kỳ, vị tướng thời Hai Bà Trưng. Đây là một nếp nhà có bố cục mặt bằng tiền chữ “nhất”, hậu chữ “đinh”, xây kiểu đầu hồi bít đốc, tay ngai có trụ biểu được trang trí lân chầu đẹp mắt.
Nếp nhà tiền tế gồm 3 gian, mái lợp ngói ta và xen nhiều mũi hài cổ. Lòng nhà tiền tế có diện tích không đều nhau. Nếp nhà này để trống, có bốn cột trụ vuông đỡ mái, các kẻ hiên được chạm hoa lá, ở hai đầu nhà được đắp tượng hai hộ pháp. Trên cao có một bức đại tự ghi: “Tĩnh Túc miếu” và hai câu đối.
Bên ngoài nếp nhà trong được làm bán lẫy nửa gian rồi nối 3 gian chạy dọc là hậu cung tạo nên bố cục mặt bằng chữ “đinh”. Trong hậu cung đặt hai long ngai thờ ông bà Đào Kỳ - Phương Dung. Ngai được làm kiểu chân quỳ, mặt chính phía đế ngai là mặt hổ phù, mang phong cách nghệ thuật thế kỷ XIX. Phía hai bên của ban thờ đặt 2 bệ thờ bộ hạ của ông (dân địa phương vẫn gọi là nhị điện bộ hạ). Trang trí trên kiến trúc chủ yếu là văn mây, hoa lá cách điệu...
Để tri ân công đức của Thành hoàng làng, hàng năm dân làng Hội Phụ tổ chức lễ hội vào ngày 13 đến 15 tháng 3 âm lịch. Ngày chính hội là ngày 15. Lễ hội này đã có từ lâu đời, cho đến năm 1996 sau khi di tích được xếp hạng thì nhân dân khôi phục lại lễ hội rước nghênh lăng, năm 2005 sau khi hoàn thành công trình khôi phục lại đình làng Hội Phụ thì hội được làm với quy mô lớn hơn. Những năm tổ chức hội chính thì làng cùng với 6 làng thờ Đào Kỳ - Phương Dung cùng tổ chức rước nghênh lăng làm lễ tại lăng vị tướng Đào Kỳ tại thôn Phúc Thọ, xã Mai Lâm.