Nguyên xưa khu di tích này là ngôi đền thờ hai ông Cao Sơn, Quý Minh và bà Hoàng Phi công chúa. Trong kháng chiến chống Pháp ngôi chùa của làng bị tàn phá. Với lòng tín ngưỡng đato phật nhân dân đưa tượng phật về thờ trong đền. Từ đó đến nay nhân dân gọi là đền chùa Bầu Bỏi. Chùa Bầu Bỏi hiện có lưu giữ những hiện vật như: Thần phả, Sắc phong, hệ thống tượng phật và thánh, bát hương, sập thờ, lục bình, chuông đồng, mâm bồng, kiệu...