Microsoft dan Nvidia Ubah Laptop Jadi Server AI Pribadi

Microsoft dan Nvidia membawa AI dari pusat data ke PC, dengan laptop yang mampu menjalankan model dengan lebih dari 120 miliar parameter langsung di mesin dan hanya menggunakan cloud bila diperlukan.

Selama bertahun-tahun, sebagian besar pengalaman generatif AI bergantung pada pusat data yang sangat besar.

Pengguna mengirimkan permintaan melalui laptop mereka, tetapi proses yang berat ditangani di server jarak jauh.

Microsoft dan Nvidia berupaya mengubah model tersebut dengan generasi PC Windows yang cukup canggih untuk menjalankan AI langsung di perangkat..Microsoft dan Nvidia baru saja memperkenalkan langkah baru dalam strategi AI mereka untuk komputer pribadi, yang berfokus pada memindahkan lebih banyak tugas AI dari cloud untuk dijalankan langsung di PC Windows.

Pada sebuah acara di San Francisco pada tanggal 7 Oktober, para pemimpin dari kedua perusahaan tersebut menggambarkan masa depan Windows sebagai model "kecerdasan hibrida" – kecerdasan hibrida antara perangkat dan komputasi awan.

Ini berbeda dengan cara banyak orang saat ini menggunakan chatbot.

Ketika seseorang mengajukan pertanyaan kepada AI melalui peramban, permintaan tersebut biasanya dikirim melalui internet ke pusat data. GPU di sana melakukan penalaran, dan kemudian hasilnya dikirim kembali ke layar.

Dengan AI lokal, sebagian atau seluruh proses tersebut dapat berlangsung langsung di laptop.Sebagai contoh, pengguna yang menginginkan AI untuk mencari melalui ribuan dokumen internal, menganalisis sekumpulan kode sumber, mengubah ucapan menjadi teks, atau membuat gambar dapat meminta tugas tersebut dilakukan menggunakan perangkat keras mesin tanpa harus mengirimkan semua data secara eksternal.

Microsoft tidak percaya bahwa komputasi awan akan menghilang.

Arah baru yang diambil adalah membiarkan Windows menentukan tugas mana yang cocok untuk perangkat dan tugas mana yang membutuhkan daya komputasi pusat data.

Tugas kecil yang membutuhkan respons cepat atau melibatkan data sensitif dapat ditangani secara lokal. Ketika tuntutan menjadi terlalu besar bagi perangkat keras komputer, sistem dapat beralih ke model berbasis cloud.

Inilah mengapa Microsoft menyebut model ini sebagai kecerdasan hibrida.

GitHub Copilot juga sedang dikembangkan ke arah yang serupa. Di masa mendatang, alat ini dapat menentukan apakah tugas pemrograman harus diberikan kepada model yang berjalan di PC atau dialihkan ke model yang lebih canggih di cloud, berdasarkan persyaratan kinerja, biaya, dan latensi.

Jika suatu bisnis menginginkan AI untuk menganalisis kontrak, dokumen teknis, atau kode sumber internal, kemampuan untuk menjalankan model langsung di perangkat akan mengurangi jumlah data yang perlu dikirim ke server eksternal.Ini tidak berarti AI lokal secara otomatis sepenuhnya aman. Komputer tetap membutuhkan perlindungan dari malware, akun yang diretas, atau aplikasi dengan hak akses yang terlalu luas.

Namun dari segi arsitektur, fakta bahwa data tidak perlu meninggalkan perangkat untuk setiap tugas membuka lebih banyak pilihan bagi organisasi dengan persyaratan data yang ketat.

Model yang berjalan di mesin tidak perlu menunggu koneksi internet untuk setiap siklus pemrosesan. Untuk tugas yang membutuhkan AI untuk melakukan banyak langkah secara terus menerus, waktu tunggu jaringan dapat dikurangi secara signifikan.

Pengguna mungkin juga dapat terus menggunakan beberapa fungsi AI bahkan saat terputus dari jaringan, tergantung pada aplikasi dan model yang terpasang.

Bagi bisnis atau programmer yang menggunakan AI dalam skala besar, setiap panggilan ke model cloud dapat menimbulkan biaya komputasi. Menjalankan tugas yang sesuai pada perangkat keras yang dibeli membantu mengurangi jumlah pembayaran untuk sumber daya cloud.

Nvidia menggambarkan generasi PC baru ini sebagai cara untuk membawa perangkat lunak AI yang awalnya dikembangkan untuk server ke komputer pribadi.

RTX Spark mendukung CUDA, ekosistem perangkat lunak yang digunakan oleh banyak aplikasi AI dan GPU khusus. Hal ini memudahkan pengembang untuk memindahkan model dari lingkungan server ke PC tanpa harus menulis ulang seluruh proses.Surface Laptop Ultra menunjukkan betapa dahsyatnya kemampuan laptop berbasis AI.Perangkat paling menonjol dalam strategi baru ini adalah Surface Laptop Ultra.

Microsoft menyebut ini sebagai Surface Laptop paling canggih yang pernah mereka produksi, yang dirancang dari awal berdasarkan platform Nvidia RTX Spark.

Chip ini menggabungkan GPU berbasis arsitektur Blackwell RTX dengan CPU Nvidia Grace dan memori terpadu.

Konfigurasi tertinggi menawarkan memori terpadu hingga 128 GB. Alih-alih CPU dan GPU menggunakan area memori yang sepenuhnya terpisah seperti pada banyak PC tradisional, sumber daya dapat dialokasikan secara lebih fleksibel untuk tugas-tugas yang diperlukan.

Microsoft mengumumkan bahwa Surface Laptop Ultra mencapai kinerja AI satu petaflop dan mampu menjalankan model secara lokal dengan lebih dari 120 miliar parameter.

Angka ini patut diperhatikan karena model skala besar sebelumnya biasanya dikaitkan dengan workstation atau server yang memiliki GPU khusus.

Mengintegrasikannya ke dalam laptop menunjukkan bahwa batasan antara komputer pribadi dan sistem AI khusus secara bertahap semakin menyempit.Namun, jumlah parameter bukanlah satu-satunya ukuran seberapa cerdas suatu model.

Kemampuan untuk menjalankan model besar bergantung pada bagaimana model tersebut dioptimalkan, tingkat kuantisasi, ukuran konteks, dan jumlah memori yang digunakan oleh aplikasi lain.

Oleh karena itu, "menjalankan model dengan 120 miliar parameter" tidak berarti Surface Laptop Ultra dapat menggantikan setiap model AI kelas atas yang saat ini berjalan di klaster GPU besar-besaran.

Secara lebih praktis, pengguna profesional dapat memindahkan banyak beban kerja yang sebelumnya bergantung pada server ke PC mereka.

Pengembang dapat menggunakan model lokal untuk menganalisis basis kode, menemukan penyebab kegagalan build, atau menyarankan perbaikan.

Para profesional kreatif dapat menjalankan pembuatan gambar, pengeditan video , dan alur kerja 3D berbasis AI langsung di komputer mereka.

Para peneliti dapat menguji model atau melakukan inferensi pada data mereka sendiri tanpa harus menyewa cloud GPU untuk setiap langkah kecil.