Tương truyền vào thời Lý, có cô thôn nữ đẹp người đẹp nết của làng được hoàng cung tuyển chọn làm thiếp yêu cho vua. Vào ngày cô dời làng lên xa giá về cung, bỗng xuất hiện đám mây ngũ sắc, hình dáng tựa con rồng xanh, như đang ngồi che chở cho cô, theo cô về triều. Dân làng cho đó là điềm lành nên hoan hỷ lắm, liền lấy điềm đó đổi tên làng thành làng Đỗ Xá.
Sau khi sinh cho triều Lý một hoàng tử, cô thôn nữ làng Đỗ Xá không bệnh mà tự dưng hóa. Đêm đó, trời đổ mưa như trút nước. Sáng ra, dân làng thấy trên khúc sông đầu làng nổi lên những phiến đá, cột đá, kèo đá... đủ xây dựng một ngôi chùa. Dân làng cho rằng trời đất cảm thương bà liền dùng những đồ đá đó dựng lên ngôi chùa, để thờ cúng bà, gọi đó là chùa Đá. Và làng Đỗ Xá được triều đình đổi tên là làng Đá từ đó.
Trước kia, khu chùa làng Đá rất rộng. Nhiều gian thờ được xây dựng bằng cột đá, trụ đá, có chạm trổ rồng phượng và những hoa văn tinh tế.
Khuôn viên chùa nằm trên diện tích rộng vài hecta Bắc Bộ nhưng những năm phong trào Cần Vương, ngôi chùa bị thực dân Pháp kéo quân về đốt phá vì chùa Đá là nơi dân làng nuôi giấu các chiến sĩ Cần Vương.
Các cụ bô lão trong làng kể rằng, con sông đầu làng ngày xưa rất rộng, trai tráng khỏe mạnh, bơi giỏi nhất vùng cũng chỉ đủ sức bơi sang bên kia bờ, chứ đâu nhỏ bé như bây giờ, không đủ để tưới tiêu cho một cánh đồng.
Ngày trước, bao quanh khuôn viên chùa là những cây nhãn cổ thụ, đến mùa sai trĩu quả, nay dấu tích nhỏ cũng không còn vì đất của chùa đã dùng xây sân kho, xây nhà văn hóa, làm nhà dân ở...
Ngôi chùa ngày nay rất nhỏ, được dựng lại trên nền gian Cửa Trình của khu chùa ngày trước. Do ngôi chùa bị thực dân Pháp đốt phá nhiều lần nên những dấu tích về ngôi chùa, nhất là sự tích về ngôi chùa không còn.
Dấu tích chùa xưa chỉ còn lưu lại ở một số cột đá, chạm trổ hoa văn và những con rồng đang vươn mình bay lên cao... ở gian chính điện.
Trước cửa chùa là con rùa to bằng đá, đội bát nhang để du khách thập phương thắp hương trước khi vào lễ Phật.
Việc thờ tự ở ngôi chùa Đá cũng giống các ngôi chùa khác ở Bắc Bộ, cũng theo tín ngưỡng tứ phủ.
Gian chính điện thờ Phật. Hai bên chính điện thờ Đức Ông, Đức Thánh Hiền, Thành Hoàng và Hồ Chủ Tịch.
Gian thờ Mẫu nằm bên cạnh, hơi chếch về phía sau chính điện. Ngoài việc thờ Tam tòa Thánh Mẫu, Quan Ngũ Hổ, gian thờ Mẫu còn thờ Bà Chúa Sơn Trang, Đức Thánh Trần Triều...
Những ngày đầu tháng, đầu năm âm lịch, dân trong vùng đến lễ Phật, lễ Mẫu.... để cầu xin tài lộc.
Người dân trong vùng kể nhiều chuyện về sự linh ứng khi thành tâm dâng lễ: Nào là chuyện vợ chồng nhà nọ lấy nhau đã nhiều năm, chữa chạy đã nhiều thầy nhiều thuốc mà vẫn không có con, vậy mà chỉ sau vài tháng năng đến chùa dâng lễ, giờ đã có con nối dõi tông đường; nào là chuyện nhà kia vợ ốm nặng, chạy chữa mãi không khỏi, khi người chồng thành tâm dâng lễ, liền có người “mách” mà gặp được thầy, được thuốc, vài tuần sau khỏi bệnh...
Người dân trong vùng cũng nói rằng: Sự ứng nghiệm chỉ đến với những ai thành tâm, thật lòng hướng thiện, còn những ai sống không có thiện
tâm, không thành tâm hướng thiện sẽ không nhận được sự linh ứng, thậm chí còn bị Phật, Mẫu trừng phạt.