[Trung Quốc, Thâm Quyến, ngày 14 tháng 7 năm 2023] Hôm nay, Huawei đã công bố giải pháp lưu trữ AI mới của mình cho kỷ nguyên mô hình quy mô lớn, cung cấp các giải pháp lưu trữ tối ưu cho đào tạo mô hình cơ bản, đào tạo mô hình dành riêng cho ngành và suy luận trong các kịch bản phân đoạn, do đó giải phóng các khả năng AI mới.
Trong quá trình phát triển và triển khai các ứng dụng mô hình quy mô lớn, doanh nghiệp phải đối mặt với bốn thách thức lớn:
Thứ nhất, thời gian chuẩn bị dữ liệu dài, nguồn dữ liệu phân tán, tổng hợp chậm, mất khoảng 10 ngày để xử lý trước hàng trăm terabyte dữ liệu. Thứ hai, đối với các mô hình lớn đa phương thức có tập dữ liệu văn bản và hình ảnh lớn, tốc độ tải hiện tại đối với các tệp nhỏ có dung lượng lớn là dưới 100MB/s, dẫn đến hiệu quả tải tập huấn luyện thấp. Thứ ba, việc điều chỉnh tham số thường xuyên cho các mô hình lớn, cùng với nền tảng đào tạo không ổn định, khiến quá trình đào tạo bị gián đoạn khoảng 2 ngày một lần, buộc cơ chế Checkpoint phải tiếp tục đào tạo và quá trình phục hồi mất hơn một ngày. Cuối cùng, ngưỡng triển khai cao cho các mô hình lớn, thiết lập hệ thống phức tạp, thách thức về lập kế hoạch tài nguyên và mức sử dụng tài nguyên GPU thường dưới 40%.
Huawei đang bắt kịp xu hướng phát triển AI trong kỷ nguyên của các mô hình quy mô lớn, cung cấp các giải pháp phù hợp cho các ngành và kịch bản khác nhau. Nó giới thiệu Bộ lưu trữ hồ dữ liệu học sâu OceanStor A310 và Thiết bị siêu hội tụ đào tạo/suy luận FusionCube A3000. Bộ lưu trữ hồ dữ liệu học sâu OceanStor A310 nhắm đến cả kịch bản hồ dữ liệu mô hình lớn cấp cơ bản và cấp ngành, đạt được khả năng quản lý dữ liệu AI toàn diện từ tổng hợp dữ liệu, tiền xử lý đến đào tạo mô hình và ứng dụng suy luận. OceanStor A310, trong một giá đỡ 5U duy nhất, hỗ trợ băng thông 400GB/giây dẫn đầu ngành và lên tới 12 triệu IOPS, với khả năng mở rộng tuyến tính lên tới 4096 nút, cho phép giao tiếp xuyên giao thức liền mạch. Hệ thống tệp toàn cầu (GFS) tạo điều kiện cho việc dệt dữ liệu thông minh giữa các khu vực, hợp lý hóa các quy trình tổng hợp dữ liệu. Điện toán gần lưu trữ thực hiện quá trình tiền xử lý gần dữ liệu, giảm sự di chuyển dữ liệu và cải thiện hiệu suất tiền xử lý lên 30%.
Thiết bị siêu hội tụ đào tạo/suy luận FusionCube A3000, được thiết kế cho các kịch bản đào tạo/suy luận mô hình lớn cấp ngành, phục vụ cho các ứng dụng liên quan đến các mô hình có hàng tỷ tham số. Nó tích hợp các nút lưu trữ hiệu suất cao OceanStor A300, nút đào tạo/suy luận, thiết bị chuyển mạch, phần mềm nền tảng AI cũng như phần mềm quản lý và vận hành, cung cấp cho các đối tác mô hình lớn trải nghiệm triển khai plug-and-play để phân phối một cửa. Sẵn sàng để sử dụng, nó có thể được triển khai trong vòng 2 giờ. Cả nút đào tạo/suy luận và lưu trữ đều có thể được mở rộng độc lập và theo chiều ngang để phù hợp với các yêu cầu quy mô mô hình khác nhau. Trong khi đó, FusionCube A3000 sử dụng các bộ chứa hiệu suất cao để cho phép thực hiện nhiều nhiệm vụ đào tạo và suy luận mô hình để chia sẻ GPU, tăng mức sử dụng tài nguyên từ 40% lên hơn 70%. FusionCube A3000 hỗ trợ hai mô hình kinh doanh linh hoạt: Giải pháp một cửa Huawei Ascend và giải pháp một cửa của đối tác bên thứ ba với phần mềm nền tảng điện toán, mạng và AI mở.
Chủ tịch Dòng sản phẩm lưu trữ dữ liệu của Huawei, Chu Yuefeng, cho biết: “Trong kỷ nguyên của các mô hình quy mô lớn, dữ liệu quyết định tầm cao của trí tuệ AI. Là nơi cung cấp dữ liệu, việc lưu trữ dữ liệu trở thành cơ sở hạ tầng nền tảng quan trọng cho các mô hình AI quy mô lớn. Huawei Data Storage sẽ tiếp tục đổi mới, cung cấp các giải pháp và sản phẩm đa dạng cho kỷ nguyên của các mô hình AI lớn, hợp tác với các đối tác để thúc đẩy trao quyền cho AI trong nhiều ngành công nghiệp.”
Thời gian đăng: 01-08-2023
