Đình Cổ Ngõa Hạ là một công trình kiến trúc thờ Cao Sơn Đại Vương làm Thành hoàng làng và còn phối thờ những vị thần có công với dân với nước như Lê Bình quận công. Huệ Minh công chúa.
Theo cuốn “Thần tích Việt Nam” thì hiện nay Thành hoàng Cao Sơn đại vương có nhiều nơi tôn thờ. Lai lịch của vị thần có nhiều dị bản. Theo PGS – TS Nguyễn Tá Nhí, Viện Nghiên cứu Hán Nôm thì ở nhiều địa phương phụng thờ Cao Sơn đại vương là nhân vật được ghi chép trong cuốn Ngọc phả “Tam vị đại vương thượng đẳng thần Tản Viên Sơn Thánh”, có nơi phụng thờ Cao Sơn đại vương là Trấn Thủ Độ, nhưng ở Cổ Ngõa Hạ, việc phụng thờ Cao Sơn đại vương một nhân vật quan trọng trong điện thần của người Việt trước đây. Hiện nay di tích còn có tài vị ghi “ Đương cánh thành hoàng Cao Sơn đại vương thượng đẳng thần”. Thần Cao Sơn đại vương thờ rất nhiều nơi trong khu vực tụ cư của người Việt cố trước đây. Nằm trong hệ thống thần thoại về thời dựng nước và giữ nước đầu tiên, truyền thuyết về Cao Sơn đại vương rất phong phú và ngày càng được lịch sử hóa nên trong nhiều miền quê của đất nước đã tồn tại trong những bản khác nhau về nhân vật huyền thoại này.
Sớm nhất có lẽ là truyền thuyết cho rằng thần Cao Sơn là con Lạc Long Quân và Âu Cơ và là một trong 50 người con theo cha lên núi. Sau đó, Cao Sơn trở thành bộ tướng thân cận của Sơn Tinh (tức Thánh Tản Viên và đã từng cùng Sơn Tinh chống lại Thủy Tinh và thủ lĩnh của tộc người Âu khi họ tấn công nhà nước Văn Lang. Do có công với nước nên về sau Cao Sơn được thờ là vị thần thứ hai trong đền núi Tản. Sang thời Lê, khi nhà nước phong kiến coi việc ban sắc phong cho các thần hoàng là việc làm quan trọng. Trong các bản thần tích thần Cao Sơn đã có tên gọi đầy đủ. Đó là xu hướng lịch sử hóa các nhân vật huyền thoại được diễn ra rất phổ biến dưới thời Lê. Đa số các truyền thuyết cho rằng: Cao Sơn có tên là Nguyễn Hiền và em ruột là Nguyễn Sùng (tức thần Quí Minh) đều là con chú ruột thần Sơn Tinh. Họ là người trang Thanh Uyên – nay là xã Thanh Uyên, huyện Tam Nông, tỉnh Vĩnh Phú. Khi Thủy Tinh đem quân đánh Sơn Tinh và tộc Âu vây đánh nhà nước Văn Lang của Hùng Vương, thần Cao Sơn đã có công lớn cùng với Sơn Tinh chiến thắng thủy tặc, quân Âu bảo vệ nhà Hùng.
Đầu thời Lê Trung Hưng, thần Cao Sơn đại vương được nhà nước phong kiến đặc biệt đề cao. Nguyên do sự kiện này là bởi thần đã có công phù trợ vua Lê giành lại ngai vàng, dẹp yên lại chuyên quyền của ngoại thích. Sự kiện lịch sử trên đã được quan Quang Tiến Thân lộc đại phu, Thiếu bảo, Thương thư bộ lễ, Đông các đại học sĩ, kiêm Tế tửu Quốc Tử Giám trông nom việc kinh diễn là Lê Tung soạn năm Canh Ngọ, Hồng Thuận thứ 3 (1510).
Căn cứ vào sự tích Thần cao sơn do Hộ phiên phường Kim Liên phụng sao ngày 17/12 năm Cảnh Hưng thứ 7 (1746), có thể tóm tắt về vị thành hoàng Cao Sơn đại vương như sau:
Ngày 16/03, tại đất Bảo Sơn, quận Quảng Nam, nước Đại Minh có ông bà họ Cao sinh ra một người con trai tên là Hiển, tự là Cửu Trường. Khi sinh ra, tướng mạo Người khôi ngô, dĩnh ngộ, thiên bẩm thông minh, trí khí khác người. Lúc còn nhỏ đã am tường kinh sách thi thư, đặc biệt thông luận ngũ kinh.
Năm 27 tuổi, Ngài dự kỳ thi Tưởng và trung cách. Năm 6 triều Minh, ngài dự thi Đình và hai lần đỗ Tiến sỹ, Vốn có được phong giữ chức Thừa tưởng và cử đi dẹp loạn.
Sau khi toàn thắng trở về, vua Minh lại gia phong làm giữ quyền Nguyên soái. Do có công như vậy nên năm 78 tuổi, vua cho ngài và đường già. Cao Sơn đại vương liền đi du ngoạn và có đi qua vùng đất Cổ Ngõa Hạ này. Thấy đây là vùng đất non nước hữu tình, việc nông tang trù phú, nên ngài đã dừng chân tại nơi đây và dạy nhân dân cấy cày, sau đó tiếp tục du ngoạn những nơi sơn kỳ thuỷ tủ.
Tương truyền, ngài thọ đến 103 tuổi. Sau khi ngài hoá, vua nhớ tới công lao nên phong là Cao Sơn Quốc chúa đại vương và ban tên thụy là Trung Trinh, sau đó sắc cho các nơi mà ngài đã đi qua lập đền thờ để phụng thờ, tuyên dương công đức mãi về sau.
Với uy linh như vậy, nên ngài đã được vua Lý Thái Tổ sau khi thiên độ đã chọn ngài là một trong những Thăng Long tứ trấn tại Đình Kim Liên (Hà Nội).
Ngoài việc phụng thờ thần Cao Sơn đại vương, đình Cổ Ngoã Hạ còn phối thờ Quận công Lê Bình, người có công giúp dân nơi đây đắp con đê ngăn nước từ Thượng Mỗ đến Đoài Khê vào thời Hồng Đức (1470 – 1497) và Huệ Minh công chúa.
Đình Cổ Ngoã Hạ thờ Cao Sơn đại vương. Vì thế, lễ hội cũng có liên quan đến ngày sinh và ngày hoá của các vị thần này. Lễ hội được tổ chức ngày 16/3 là ngày chính hội, đây chính là ngày sinh của Đức thành hoàng. Hội được mở 3 đến 5 năm một lần.
Theo lệ làng, từ xưa nơi đây đã đề ra một số qui định như đối với nam giới đến tuổi 48 là tuổi lên đình, 49 tuổi làm ông cai dám có trách nhiệm nuôi lợn làm lễ tiến cho hội làng, gọi là nuôi lợn thờ (chuồng nuôi lợn phải cao ráo, sạch sẽ, tắm cho lợn, rửa rau, nước nấu phải bằng nước giếng đình làng, rau sạch, cám thơm ngon, cho lợn ăn bữa nào thì nấu bữa đó không được để ôi thiu), nếu đến ngày rước lợn mà lợn chết hay không có thì làng phạt vạ phải nộp ruộng cho làng. Những gia đình có hoàn cảnh nghèo khó không thể nuôi lợn để tiến lễ được thì làng rộng lượng qui định 10 kg gạo nếp để đồ xôi và một con gà sống thiến bày đủ nghi lễ trầu cau, hương dăng và gia đình tự rước lên đình để làng tổ chức lễ tế.
Trong các ngày diễn ra lễ hội, các cổng chào và cổng xóm được dựng chắc chắn, đèn lồng đèn vuông, đèn ông sao, đèn kéo quân được trồng hai bên đường chính của làng. Làng còn tổ chức các trò chơi dân gian như chơi cờ bởi (cờ người), hát chèo, hát ca trù và một số trò vui nhộn khác.
Lễ dâng đức thánh gồm một con lợn từ 50 cân trở lên, đã cạo lông mổ bụng để nguyên cả con, chỉ có lòng lợn được chế biến luộc chín, 20 cân gạo nếp cái hoa vàng đồ xôi dàn vào hai mâm lễ.
Những người muốn có chức sắc trong làng, những người đỗ đạt và có địa vị xã hội, những người mừng thọ, khao lão đều dâng lễ, lễ có thể là xôi thịt lợn hay xôi thịt gà... để dâng đức thánh (lễ này có thể tiến hành vào ngày mùng 1, ngày rằm, ngày 10/ 10, ngày tết.
Ngày chính hội là ngày 16/3. Đây cũng chính là ngày sinh của đức thành hoàng. Trước ngày lễ hội, chức sắc trong làng họp để tổ chức cai đám. Công việc này phải tiến hành chuẩn bị từ trước đó 01 năm.