Chip M5 Bisa Jalankan AI Berat Tanpa Server
Apple pamer performa chip M5 yang punya kemampuan efisiensi hingga 20 persen dibanding chip M4. -FOTO 9TO5MAC -
Tak hanya performa, MLX juga memanfaatkan arsitektur memori terpadu Apple silicon. Itu memungkinkan operasi terhadap CPU dan GPU tanpa perpindahan data yang signifikan. Itulah titik yang menunjukkan bahwa peningkatan itu membuka jalan baru bagi kreativitas dan produktivitas di perangkat langsung.
Bagi pengembang yang membangun aplikasi AI di Mac, mereka bisa melakukan inferensi dan penyesuaian model secara lokal. Tentunya berimbas pada efisiensi waktu pengerjaan yang semakin singkat.
Meski begitu, hasilnya menunjukkan bahwa percepatan itu hanya di awal saja. Sementara kecepatan generasi token berikutnya masih dibatasi oleh memori bandwidth.
Apalagi dengan model besar dan konteks prompt panjang, bottleneck (penurunan kinerja) yang bisa berpindah dari compute ke memori. Pun, memberatkan performa dari CPU perangkat.
Kesimpulannya, Apple lewat M5 dan framework MLX mempertegas posisinya dalam era baru pengolahan AI di perangkat. AI berat pun kini bisa berjalan di laptop atau tablet.
Bagi pengguna Mac dan kreator konten, itu dapat menjadi tanda. Sebuah masa depan pemrosesan AI sekarang ada di perangkat milik kita. (harian disway)
- Tag
- Share
-
-
