MIMO 7B: AI nguồn mở của Xiaomi là một đối thủ mới khó khăn với Chatgpt

Xiaomi đã chính thức bước vào không gian trí tuệ nhân tạo với việc phát hành mô hình lý luận nguồn mở đầu tiên, Mimo 7b. Được phát triển bởi công ty mới thành lập Đội lõi mô hình lớnMimo đại diện cho một sự thay đổi chiến lược từ tập trung phần cứng truyền thống của Xiaomi sang nghiên cứu và phát triển AI nâng cao.

Mặc dù chỉ có 7 tỷ tham sốMimo đã thể hiện hiệu suất mạnh mẽ trong các nhiệm vụ lý luận phức tạp, vượt qua các mô hình lớn hơn nhiều như O1-mini của Openai Và Perview 32B QWQ của Alibaba. Hiệu suất này đã đặt Xiaomi vào ánh đèn sân khấu để tạo ra một mô hình nhỏ gọn và hiệu quả cao có khả năng cạnh tranh với các đối thủ cạnh tranh chuyên sâu hơn về tài nguyên.

Hiệu suất chuẩn và chiến lược thiết kế

Mimo 7b đã vượt trội hơn các đồng nghiệp của mình về các điểm chuẩn như AIME 24-25 (một bài kiểm tra cho lý luận toán học) và LiveCodeBench v5 (Bộ dữ liệu thử thách lập trình). Thành công này được quy cho một quá trình phát triển có cấu trúc tốt bao gồm cả những đổi mới trước khi đào tạo và sau đào tạo.

Các chiến lược trước khi đào tạo bao gồm:

• Lý luận phong phú: Tập trung vào việc trích xuất và tích hợp kiến ​​thức lý luận phức tạp.
• Tạo dữ liệu tổng hợp: Sản xuất xấp xỉ 200 tỷ mã thông báo của dữ liệu lý luận cấp chuyên gia để cải thiện độ sâu đào tạo.
• Khó khăn tiến bộ đào tạo: Sử dụng một phương pháp đào tạo ba pha với mức độ khó khăn ngày càng tăng.
• Phơi nhiễm mã thông báo mở rộng: Được đào tạo trên một rộng lớn 25 nghìn tỷ mã thông báođảm bảo học tập toàn diện.

Cải tiến sau đào tạo:

• Kiểm tra phần thưởng theo hướng khó khăn: Giới thiệu một cách tiếp cận mới lạ để giải quyết sự thưa thớt trong các nhiệm vụ thuật toán phức tạp.
• Kỹ thuật lấy mẫu lại dữ liệu: Áp dụng để ổn định quy trình học tập củng cố.
• Hệ thống triển khai liền mạch: Tăng hiệu quả đào tạo bằng cách 2,29 lần và tốc độ xác nhận bởi 1,96 lầnhợp lý hóa đường ống học tập tăng cường (RL).

Tầm nhìn rộng hơn cho AI

Việc phát hành Mimo nhấn mạnh tham vọng rộng lớn hơn của Xiaomi trong khu vực AI. Mặc dù trước đây được biết đến với các thiết bị điện tử và thiết bị thông minh tiêu dùng, Xiaomi hiện đang định vị mình là một người chơi nghiêm túc trong phát triển mô hình AI. Qua Mimo nguồn mởXiaomi đang đóng góp cho hệ sinh thái nghiên cứu AI hợp tác, thúc đẩy sự đổi mới vượt ra ngoài sự phát triển độc quyền.

Các nhà phát triển và nhà nghiên cứu AI hiện có thể truy cập MIMO 7B và tài liệu kỹ thuật đầy đủ của nó thông qua chính thức của Xiaomi Ôm khuôn mặt kho lưu trữcung cấp một công cụ có giá trị để thử nghiệm và phát triển thêm. Động thái này phản ánh ý định của Xiaomi để xây dựng sự hiện diện mạnh mẽ trong AI trong khi hỗ trợ cộng đồng nguồn mở.

Nộp vào Điện thoại di động> Máy tính> Robot. Đọc thêm về AI (Trí tuệ nhân tạo), Chatgpt và Xiaomi.