Có hai nguồn gốc xuất xứ về đức Văn Xương Đế Quân. Một là: Văn Xương Đế Quân chính là nhóm sao Đẩu Khôi, gồm sáu ngôi sao xếp thành hình bán nguyệt nằm ở phía trước sao Bắc Đẩu, mỗi sao có một tên, quản về văn vận khoa danh. Hai là, theo từ điển Nho Phật Đạo: Văn Văn Xương Đế Quân là một nhân vật có thực, tên là Trương Á (hoặc Trương Ác) sau khi thác có nhiều hiển linh và được phong làm thần Tử Đồng. Đến thời Nhân Tông nhà Nguyên (1316) thì phong thần Tử Đồng là “Phụ Nguyên khai hóa Văn Xương Tư Lộc Hoằng Nhân Đế Quân’’. Kể từ đó, thần Tử Đồng và sao Văn Xương được hợp nhất thành một danh xưng là Văn Xương Đế Quân.
Trong sách "Trấn Vũ Lục Quán, Thanh Hòa Tử chép: Đời vua Lê Thánh Tông (1460 – 1497), Thượng thư Nguyễn Địch Tâm (1461-?) đi sứ sang Trung Quốc, xin được tượng thần đem về lập đền thờ ở xã Hoàng Xá. Về sau, học trò đi thi, đến cầu báo mộng thường được ứng nghiệm. Năm Thiệu Trị thứ 6 (1846), phong Thượng đẳng thần.
Đền ở lưng chừng núi Hoàng Xá. Trong đền có tượng Văn Xương Đế Quân đầu đội mũ phốc và mặc áo bổ phục. Đứng trên đền Thượng, ngắm toàn cảnh khu động Hoàng Xá và toàn bộ khuôn viên của chùa Hoa Vân Tự (Chùa Động Hoàng Xá) nhìn xuống cảnh thôn xóm ẩn hiện dưới luỹ tre làng, cảnh vật thanh bình.
Đền được xây dựng theo kết cấu kiểu chữ Đinh. Hạng mục đầu tiên của đền là cổng đền - gồm một lối đi chính. Phần trên là hai tầng 8 mái đao cong, ngói giả ngói ống, phía dưới lát gạch chỉ chồng lên nhau, tạo thành lối đi dẫn vào hạng mục chính.
Từ cổng qua khoảng cách chừng 100m là tới tiền tế. Tiền tế là ngôi nhà ngang 3 gian 2 dĩ, kết cấu theo kiểu tường hồi bít đốc, mái lợp ngói ri, nền lát gạch. Phía trước là hệ thống cửa bức bàn, bên trên là chắc song con tiện.
Các bộ vì bên trong được làm thống nhất theo kiểu “Thượng chồng rường, hạ kẻ bầy’’ trên bốn hàng chân cột. Kiểu kiến trúc này mang đậm dấu ấn thời Nguyễn. Hai bên bài trí các ban thờ và tượng, bát hương và một số di vật khác.
Hậu cung là một gian nhà dọc nối từ gian giữa vào phía sau. Tại hạng mục bày bài trí sập thờ, tượng Thánh Văn Xương và một số di vật khác.