Chip M5 Bisa Jalankan AI Berat Tanpa Server

BANDARLAMPUNG - Memproses model bahasa besar (LLM) secara langsung di perangkat bukan lagi sekadar mimpi. Apple lewat chip M5-nya akan mengukir realitas baru.

 

Melalui posting di blog Riset Pembelajaran Mesin Apple, chip terbaru itu menunjukkan peningkatan signifikan dibanding pendahulunya, Apple M4. Terutama saat menjalankan framework terbuka MLX untuk inferensi lokal model AI.

 

Beberapa tahun lalu, Apple memperkenalkan MLX sebagai array framework (struktur data) untuk pembelajaran mesin yang efisien dan fleksibel pada Apple silicon.

 

Kini melalui MLX LM sebuah model array khusus untuk generasi teks dan model bahasa, pengguna dapat mengunduh beragam model dari platform luar. Seperti Hugging Face. Lalu menjalankannya langsung di Mac berbasis Apple silicon tanpa bergantung ke server eksternal.

 

Dalam pengujian resmi yang diumumkan Apple, M5 menunjukkan pengurangan waktu hingga token pertama yang mencolok. Misalnya, untuk model Qwen 1.7B ataupun Qwen 8B, serta model kuantisasi 4-bit seperti Qwen 14B dan Qwen 30B MoE.

 

Penggunaan chip M5 lewat MLX mampu mempersingkat waktu generasi awal hingga di bawah 10 detik. Bahkan kurang dari 3 detik untuk beberapa konfigurasi MoE.

 

Peningkatan itu terutama ditopang oleh akselerator neural GPU yang didesain khusus untuk operasi matriks berat. Serta memori bandwidth yang nilainya melonjak dari 120 GB/s di M4 menjadi 153 GB/s di M5.