Ông Huỳnh Ngọc Khiêm là người miền Trung vào Nam lập nghiệp từ lúc còn tay trắng cho đến khi sự nghiệp giàu có vào bậc nhất ở vùng cù lao Minh và đất Bến Tre lúc bấy giờ. Theo những cao niên xã Đại Điền kể lại, việc xây dựng và hoàn thành ngôi nhà có nhiều chuyện đã trở thành giai thoại. Chuyện rằng, người thợ lúc kéo gỗ khởi công làm nhà ăn bưởi và ném hột quanh nhà, hột bưởi nẩy mầm thành cây, lớn lên cho trái chín mà ngôi nhà vẫn chưa xong. Ngôi nhà làm lâu đến mức các thợ lúc dựng nhà còn bé, khi lớn lên được ông đứng ra lo việc vợ con rồi mà vẫn chưa hoàn thành. Theo căn cứ là bức hoành phi mừng tân gia họ Huỳnh của Tri huyện Bảo An Thái Hữu Võ tặng vào năm Giáp Thìn (huyện Bảo An thuộc cù lao Bảo, tỉnh Bến Tre lúc bấy giờ) thì ngôi nhà được hoàn thành trước năm Giáp Thìn (1904). Vì thế, có thể ngôi nhà được xây dựng vào khoảng cuối thập niên 80 hoặc đầu thập niên 90 của thế kỷ XIX.
Nhà cổ Huỳnh Phủ hiện tại gồm ngôi nhà chính có diện tích trên 500m2, theo phong cách “nhà rường” Huế. (Ảnh: Lê Minh)