Theo lời kể của các cao niên, đầu thế kỷ XIX, vùng núi Sập hoang vu, mịt mù cây rừng, cỏ dại, đất đai khai khẩn chưa được bao nhiêu, người dân sinh sống thưa thớt, các lạch nước tuy có sẵn tự bao giờ nhưng rất nhỏ hẹp, bùn đọng, cỏ, cây giăng lắp. Trước đây, sông Đông Xuyên (nay là Long Xuyên) chỉ kéo dài đến Ba Bần, mọi sự đi lại của ghe tàu từ các tỉnh ĐBSCL sang Rạch Giá, Hà Tiên và ngược lại phải dùng đường biển vòng xuống Cà Mau.
Năm 1817, khi Thoại Ngọc Hầu về trấn thủ Vĩnh Thanh, ông chủ trương đào kênh Đông Xuyên - Rạch Giá. Sau khi được vua Gia Long chấp thuận, đầu mùa xuân năm 1818, ông chỉ huy 1.500 dân binh khởi công đào kênh. Kênh đào theo lạch nước cũ nên thuận lợi dễ dàng, trải qua 1 tháng đã hoàn thành công trình. Kênh có bề rộng 20 tầm (hơn 50m), chiều dài tới Rạch Giá 12.400 tầm (hơn 31km). Kênh Đông Xuyên-Rạch Giá là kênh đào sớm nhất ở miền Nam, rất quan trọng cho việc giao thông vận tải đường sông và phát triển nông nghiệp, nâng cao đời sống kinh tế và văn hóa của vùng đất Thoại Sơn như ngày nay. Công trình đào kênh hoàn tất, Thoại Ngọc Hầu vẽ bản đồ và báo cáo với triều đình Huế được vua Gia Long khen ngợi, ra lệnh lấy tên Thoại Ngọc Hầu đặt cho tên sông là Thoại Hà. Lại thấy trên bờ đông của sông Thoại Hà có một trái núi gọi là núi Sập, liền cho cải tên là Thoại Sơn.
Bia đá được dịch lại phía ngoài sân đình