Theo lời kể của các cụ cao niên trong làng, lễ hội truyền thống của nhân dân các thôn Đoài, Tân Độ, Thượng Xuy Xá và Nội có từ xa xưa. Trong suốt thời kỳ chiến tranh, lễ hội bị gián đoạn; đến năm 1980, lễ hội được nhân dân địa phương khôi phục và duy trì cho đến ngày nay. Lễ hội được diễn ra trong 04 ngày từ ngày 06/2 đến ngày 09/2 âm lịch hàng năm, cứ 2 năm tổ chức hội chính 1 lần có rước kiệu và tổ chức các trò chơi dân gian, những năm bình thường chỉ tổ chức tế lễ tại đình làng. Lễ hội được tổ chức tại đình Đoài và quán 3 thôn (Đoài, Tân Độ, thôn Thượng Nội). Do đình, quán của 3 thôn thờ 4 anh em nên hằng năm khi tổ chức lễ hội các thôn thường cùng nhau tổ chức. Tuy nhiên, lễ hội chính diễn ra tại đình Đoài (Đình thôn Đoài) là nơi trung tâm của bốn thôn, nơi các ngài ngự họp.
Theo truyền thuyết, sử sách và các bút tích ghi trên thần phả, sách đồng cùng các đạo sắc phong của các triều đại phong kiến đối với Tứ vị Đại vương, đặc biệt là bản thần phả do nhà sử học Nguyễn Bính phụng soạn năm 1570, bốn vị Thành hoàng làng được thờ phụng tại đình, quán của các thôn đều mang họ Cao, gồm: Cao Xuân Dũng Đại vương (thờ tại quán Thượng), Cao Xuân Uy Đại vương (thờ tại quán Đông Đoài), Cao Xuân Lược Đại vương (thờ tại quán Tân Độ) và Cao Xuân Hùng Đại vương (thờ tại quán Nội). Tương truyền, bốn vị họ Cao là bốn anh em, có công lớn giúp nhà Lý đánh giặc, bảo vệ đất nước và mất tại vùng Xuy Xá. Để tưởng nhớ công lao của các ngài, nhân dân đã lập nơi thờ phụng tại các quán thuộc Đoài, Thượng Xuy Xá, Tân Độ và Nội đồng thời tổ chức lễ hội hằng năm để tế lễ, tưởng niệm và tri ân công đức của Tứ vị Đại vương. Theo nghi lễ truyền thống của địa phương, trong những năm tổ chức hội chính, các nghi thức lễ hội được diễn ra theo trình tự truyền thống. Vào ngày mồng 06 tháng 02 âm lịch, kiệu rước Tứ vị Đại vương của các thôn Thượng Xuy Xá, Tân Độ và Nội trước đây, nay tương ứng với các đoàn rước từ thôn Tân Độ và thôn Thượng Nội, được rước về đình Đoài để cùng làm lễ, mở đầu cho các hoạt động chính của lễ hội. Đoàn rước được tổ chức trang nghiêm, với sự tham gia của đông đảo Nhân dân các thôn, thể hiện lòng thành kính, biết ơn đối với công lao của các bậc tiền nhân, nghi thức rước không chỉ mang ý nghĩa tâm linh sâu sắc mà còn là nét đẹp văn hóa truyền thống được gìn giữ qua nhiều thế hệ, góp phần gắn kết cộng đồng và thể hiện tinh thần đoàn kết của Nhân dân trong vùng. Ngày mồng 07 và mồng 08 tháng 02 âm lịch, nhân dân các thôn tổ chức tế lễ cộng đồng và thực hiện các nghi thức tín ngưỡng truyền thống tại đình Đoài. Đến ngày mồng 09 tháng 02 âm lịch, các thôn tổ chức lễ rước Tứ vị Đại vương hồi cung, đưa các ngài trở về các quán thờ, khép lại mùa lễ hội.
Đây là một lễ hội truyền thống mang nét đặc sắc riêng, là lễ hội chung của cộng đồng dân cư trên các địa bàn có chung tín ngưỡng thờ phụng Tứ vị Đại vương, với sự gắn kết chặt chẽ giữa đình Đoài và các quán thờ. Lễ hội không chỉ tái hiện truyền thống lịch sử, tưởng nhớ công lao của Tứ vị Đại vương có công giúp dân, dẹp giặc, mà còn thể hiện tinh thần đoàn kết, gắn bó cộng đồng sâu sắc trong đời sống văn hóa, tín ngưỡng của nhân dân địa phương.
Thông qua lễ hội, truyền thống đạo lý “Uống nước nhớ nguồn” được gìn giữ và trao truyền qua nhiều thế hệ. Đây cũng là dịp để giáo dục truyền thống lịch sử, văn hóa quê hương; tuyên truyền, nâng cao ý thức và trách nhiệm của cán bộ, nhân dân, đặc biệt là thế hệ trẻ, trong việc trân trọng, bảo vệ, gìn giữ và phát huy các giá trị của di sản văn hóa dân tộc.
