Tương truyền, để chuẩn bị xây dựng ngôi nhà, Vương Chính Đức đã đích thân sang Tàu tìm thầy địa lý về chọn đất. Sau khi khảo sát khắp vùng cao nguyên đá, thầy địa lý đã chọn thung lũng Sà Phìn (nay là xã Sà Phìn, huyện Đồng Văn, tỉnh Hà Giang). Giữa thung lũng nổi lên một khu đất hình mai rùa, được ví như là “thần Kim Quy”, phía trước là hai quả núi hình mâm xôi, tượng trưng cho cuộc sống đầy đủ, ấm no. Sau nhà là một dãy núi sừng sững như bức tường thành vòng cung ôm lấy dinh thự mà thầy địa lý phán rằng con cháu đời sau sẽ vinh hiển.
Sau khi chọn được mảnh đất ưng ý, năm 1920, dinh thự họ Vương bắt đầu được xây dựng. Hầu hết thợ xây dựng là người Hồi vùng Vân Nam (Trung Quốc) và những tốp thợ giỏi nhất người Mông được huy động xẻ đá, chặt gỗ để làm nhà. Mất 8 năm và tốn khoảng 150.000 đồng bạc trắng nhà Vương mới hoàn thành.
Dinh nhà Vương được bao bọc bởi một bức tường đá chắc chắn và một cổng chính dẫn vào.