Viện được thành lâp năm 1923 do người Pháp trực tiếp quản lý, điều hành cho tới năm 1952. Hiện nay, Viện nằm trong hệ thống các viện nghiên cứu chuyên ngành của Trung tâm Khoa học tự nhiên và Công nghệ Quốc gia Việt Nam. Quy mô ban đầu của Viện rộng 20ha, nằm ở bờ gần vùng biển sâu, nơi gặp gỡ hai dòng hải lưu nóng-lạnh, có nhiều tầng lớp từ mặt nước đến cực sâu, tạo điều kiện thuận lợi cho các loài sinh vật biển định cư, sinh sống.
Viện Hải dương học có 20 phòng ban chức năng và phân chia làm nhiều khu trưng bày. Để hiểu khái quát về biển Việt Nam, du khách có thể xem sa bàn “Địa hình thềm lục địa Việt Nam”. Sa bàn như một cẩm nang cho du khách hình dung về độ sâu của đáy biển, giới thiệu sự đa dạng sinh học, nguồn lợi từ biển và tuyên truyền bảo vệ môi trường biển…
Bộ xương cá voi lưng gù dài 18m, nặng 18 tấn được khai quật tại tỉnh Nam Hà năm 1994.