Chùa Mui – vốn có tên nôm là chùa Vui và tên chữ là Hưng Thánh quán – là một di tích đặc biệt gắn liền với Đạo giáo. Theo truyền thuyết, ngôi chùa khởi nguồn từ thời Hùng Vương thứ 18 do ông Trần Khánh dựng lên sau khi dẹp giặc, khi ông từ chối bổng lộc để ở lại lập quán thờ Tam thánh và dạy dân. Trải qua biến cố lịch sử, từ một ngôi miếu nhỏ thời Lý, di tích đã được bà Đệ nhị cung tần chúa Trịnh người họ Ngô trùng tu lớn vào năm 1599, sau đó tiếp tục được tu sửa dưới thời vua Lê Kính Tông. Dù thời Nguyễn chùa được bổ sung thêm tượng Phật, Mẫu để phù hợp với tên gọi chùa Mui, nơi đây vẫn giữ trọn vẹn những dấu ấn kiến trúc, điêu khắc đặc trưng của thế kỷ XVII.
Ngôi chùa quay hướng nam với tổng thể kiến trúc theo kiểu “nội công ngoại quốc”, bao gồm tòa Bái đường, Trung điện, Thượng điện, hai dãy hành lang và ban thờ Tổ. Tòa Bái đường gồm 5 gian 2 chái với bộ vì giá chiêng, nổi bật là các bức cốn chạm khắc tinh xảo mang phong cách thế kỷ XVII như tích “rồng mẫu tử” cùng đôi rồng đất nung ngậm khối vuông triết lý trời tròn đất vuông trên bờ mái. Tòa Thượng điện càng thêm phần uy nghiêm nhờ đôi rồng đất nung khổng lồ ngậm lá đề độc nhất vô nhị cùng bệ thờ đất nung chạm nổi hoa văn rồng thời Lê và hình tượng chim thần Garuda. Do xuất thân là một ngôi quán Đạo giáo, hệ thống tượng pháp tại đây rất độc đáo với các pho Tam thanh, Thái thượng Lão quân, Ngọc Hoàng đặt phía trên Phật Thích Ca, cùng sự hiện diện của "huyệt Đan sa" – dấu tích lò luyện đan xưa. Bên cạnh đó, chùa còn lưu giữ pho tượng Đông Nhạc khổng lồ cao tới 4m từng được Quỹ Phát triển văn hóa Thụy Điển - Việt Nam tài trợ tu bổ. Với những giá trị nghệ thuật và lịch sử tiêu biểu đó, chùa Mui đã được Bộ Văn hóa và Thông tin xếp hạng di tích kiến trúc nghệ thuật vào năm 1995.