Chùa Khánh Vân do hòa thượng Diệu Quang đệ lục tổ Thiên Ấn khai sơn kiến lập năm 1892. Chùa được xây dựng trên khu vực đất khá bằng phẳng của đỉnh núi Khánh Vân, đường lên chùa với khoảng 50 bậc tam cấp, hai bên là rừng cổ thụ mọc trên núi đá tự nhiên tạo nên khung cảnh tao nhã thanh tịnh cuốn hút du khách thập phương khi đến nơi đây viếng cảnh. Theo lời kể lại của những cụ cao tuổi ở xóm Khánh Vân thì chùa trước kia có kiến trúc hình chữ tam, gồm nhà tiền đường, nhà chính điện (bái đường) và nhà tăng đường (nhà tổ). Bên cạnh chùa chính liền tiếp về phía đông là nhà khách và nhà bếp. Kiến trúc của chùa chính là kiểu kiến trúc nhà rường gồm 3 gian 2 chái.
Ông Đặng Dân bên Dinh Bà dấu tích còn sót lại của ngôi chùa cổ năm xưa.