Phần trưng bày mỹ thuật cổ - chất liệu đá của Bảo tàng Mỹ thuật gồm 3 phần: Các hiện vật thuộc Sưu tập điêu khắc cổ Đồng bằng Nam bộ, Sưu tập điêu khắc cổ Chăm Pa và Sưu tập các hiện vật thuộc thời kỳ văn hóa Óc Eo.
Nghệ thuật điêu khắc cổ Đồng Bằng Nam Bộ tại Bảo Tàng Mỹ Thuật TP. Hồ Chí Minh được thể hiện ở hai loại hình tượng Phật giáo và Hindu giáo, có niên đại thế kỷ IV-XII vào thời kỳ văn hóa khảo cổ Óc Eo (thế kỷ IV-VII) và hậu Óc Eo (thế kỷ VII-XII) ở đồng bằng sông Cửu Long và miền Đông Nam Bộ. Nghệ thuật điêu khắc cổ đồng bằng Nam Bộ hình thành và phát triển trong mối liên hệ với nghệ thuật điêu khắc Ấn Độ và Đông Nam Á qua con đường giao lưu văn hóa, kinh tế, chính trị. Cư dân xưa đã tiếp nhận một cách sáng tạo ảnh hưởng của các nền văn hóa này, tạo phong cách riêng của tượng trong giai đoạn nghệ thuật Óc Eo và hậu Óc Eo.
Các hiện vật điêu khắc cổ Champa tại Bảo Tàng Mỹ Thuật TP. Hồ Chí Minh được thể hiện ở phù điêu Hindu giáo, các phù điêu, tượng người, loài vật và một số hiện vật kiến trúc đền tháp. Những hiện vật này có niên đại thế kỷ VII-XVII với các phong cách Mỹ Sơn E1 (thế kỷ VII-VIII), Đồng Dương (cuối thế kỷ IX-đầu thế kỷ X), Trà Kiệu (thế kỷ X), Mỹ Sơn G8 (thế kỷ XII), Tháp Mẫm (thế kỷ XII-XIII), Po Klaung Garai (thế kỷ XIV-XVI) thuộc nền văn hóa Chăm ở các tỉnh Quảng Nam, Bình Định và Ninh Thuận. Những tác phẩm này bao gồm phù điêu nam thần, thần Dvarapala (thần Hộ Pháp), Rishi (đạo sĩ), người cầu nguyện, voi, sư tử, một phần bệ thờ, cột trụ, một phần tường tháp, chất liệu sa thạch thô và mặt Kala (thần Thời Gian)... chất liệu đất nung. Nghệ thuật điêu khắc cổ Chăm Pa tiếp nhận ảnh hưởng của nghệ thuật điêu khắc Ấn Độ khá mạnh mẽ ở các loại hình tượng và phù điêu Bà La Môn giáo, Hindu giáo và Phật giáo. Các tác phẩm bộc lộ tính hoành tráng tạo ấn tượng mạnh mẽ, thu hút và đầy sức quyến rũ. Đó là sự kết hợp giữa sức sống mãnh liệt của hiện thực, tự nhiên và sự hài hòa trong bố cục tác phẩm. Có lẽ những đặc điểm trên đã tạo nên một vị trí đặc biệt cho nghệ thuật điêu khắc Chăm Pa ở khu vực Đông Nam Á.
Hiện vật thuộc thời kỳ văn hóa Óc Eo gồm dụng cụ lao động, dụng cụ sinh hoạt và đồ trang sức như lưỡi rìu đá và rìu đồng, đồ gia dụng gồm nồi và hũ gốm thô với nhiều kiểu dáng, kích thước. Đồ trang sức có bông tai hình cầu bằng đất nung và vòng tay hở (anneau) bằng đồng thể hiện sự đơn giản trong sản xụất đồ gốm và các vật dụng lao động khác của cư dân xưa qua cách tạo hình, sử dụng nguyên liệu và trang trí hoa văn. Nhóm hiện vật trên có nhiều khả năng là nhóm hiện vật thuộc nền văn hóa Óc Eo được tìm thấy tại An Giang, nơi nền văn hóa này được phát hiện với nhiều di vật có loại hình, chất liệu tương tự. Ngoài ra, một số hiện vật như bông tai có kích thước khá lớn so với vùng khác, những chiếc vòng tay hở có mũi khoen rất hiếm thấy. Có thể những đồ trang sức này được cư dân xưa sử dụng trong những dịp sinh hoạt đặc biệt của cộng đồng.