Ngoài thân thích, tướng sĩ thuộc quyền quyết tâm theo phù tá Chúa Nguyễn, còn rất đông dân chúng ở Thanh, Nghệ cũng bỏ quê hương vào phương nam lập nghiệp. Làng Rèn Hoa Lang thuộc phủ Triệu Phong xứ Thuận Hóa hình thành trong lần di dân quan trọng này.
Sau khi ổn định cuộc sống trên quê hương mới, các vị khai canh hợp nhau làm ngôi chùa tranh thờ Phật tại Cồn Bệ (một gò đất cao, cây cối rậm rạp nằm ven đồng ruộng làng) phục vụ cho tín ngưỡng tâm linh. Khoảng đầu thế kỷ 18, chùa được di dời về khu đất đầu làng cho hợp phong thủy, thuận tiện sinh hoạt, cúng tế nhờ công đức của hai ông Dương Phước Pháp, Dương Phước Dã và bà Hoàng Thị Phiếu (thọ giới Uu-bà-di, pháp danh Như Giác, đạo hiệu Huyền Chân) phát tâm tiến cúng tượng Phật, tự khí xin vào ở chùa tu niệm trọn đời (Tháp mộ của Bà hiện tồn tại ở Cồn Bệ).