Nguyên cách gọi tên chùa Phật Tổ là do sự tôn kính từ lâu đời của người dân vùng Cà Mau với vị Hòa thượng lập dựng Chùa: Hòa thượng Thích Trí Tâm.
Vào khoảng năm 1840, vùng Cà Mau còn là vùng đất lau sậy, hoang sơ. Người dân địa phương kể rằng, thời đó có chàng trai Tô Quang Xuân đi lấy củi trong rừng, khi rìu bổ vào thân cây bồ đề cổ thụ thì thấy lộ ra một quyển kinh Phật đặt ở gốc cây. Từ đó chàng trai dựng am vừa tu vừa bốc thuốc chữa bệnh cho dân bên bờ kênh Quản Lộ. Tô Quang Xuân tụng kinh Kim Cương cảm hóa được thú dữ. Thiên hạ biết tiếng kéo đến xin thuốc và học đạo rất đông.
Về sau, nhờ người dân đóng góp tài vật, Tô Quang Xuân dựng được một ngôi chùa bằng lá đơn sơ. Thấy vậy, hương hào Đỗ Văn Viễn trong vùng ghen ghét đã vu cho ông là gian đạo sĩ. Ông bị quan trên bắt về Sài Gòn (nay là Tp. Hồ Chí Minh) quản thúc.