Theo chú thích ở trên bia tại chùa, từ thời Hậu Lê, năm Canh Thân (1680), đời Chính Hòa, nhà vua cho xây dựng lại chùa. Trước đó, người ta cũng không biết ngôi chùa này xây dựng chính xác từ năm nào. Đến thời Cảnh Thịnh thứ 4 (cuối TK 18) chùa lại xây dựng thêm gác chuông và mở ra hai dãy hành lang. Đến thời Nguyễn, chùa Nôm lại tiếp tục được tu sửa. Trải qua thăng trầm và biến cố của lịch sử, tàn phá của thiên nhiên, chùa vẫn tồn tại và mang trong mình một tâm thế độc đáo riêng.
Theo các cụ cao niên ở trong làng, Linh thông cổ tự còn gắn liền về một truyền thuyết xa xưa từ thời Hai Bà Trưng. Các cụ trong làng cho rằng, xưa kia có một sư thầy đang ngủ ở chùa Dâu, giữa đêm bỗng nhiên thức giấc. Khi tỉnh dậy, sư thầy nhìn thấy một ánh hào quang phát ra từ phía Nam. Biết đây là điểm báo nên sư thầy liền bám theo ánh hào quang dẫn ra rừng thông, rồi nó lan tỏa thành một quầng sáng. Nghĩ rằng trời Phật ban phước lành, nên sư thầy đã cho dựng một ngôi chùa tại đây và lấy tên là Linh thông cổ tự.
Chùa Nôm thuộc quần thể di tích làng Nôm, thuộc xã Đại Đồng, huyện Văn Lâm, Hưng Yên, là ngôi đại tự có tiếng của Bắc bộ còn lưu giữ được nhiều nét xưa.
