Telah muncul minat yang besar terhadap apa yang sedang dibangun oleh Thinking Machines Lab milik Mira Murati dengan pendanaan awal sebesar $2 miliar dan tim bertabur bintang yang terdiri dari mantan peneliti OpenAI yang telah bergabung dengan lab tersebut. Dalam sebuah unggahan blog yang diterbitkan pada hari Rabu, lab penelitian Murati memberikan gambaran pertama kepada publik tentang salah satu proyeknya: menciptakan model AI dengan respons yang dapat direproduksi.
Unggahan blog penelitian tersebut, yang berjudul “Mengalahkan Nondeterminisme dalam Inferensi LLM,” mencoba menguraikan akar penyebab yang memunculkan keacakan pada respons model AI. Sebagai contoh, jika Anda menanyakan pertanyaan yang sama kepada ChatGPT beberapa kali, kemungkinan besar Anda akan mendapatkan berbagai macam jawaban. Hal ini sebagian besar telah diterima di komunitas AI sebagai sebuah fakta—model AI saat ini dianggap sebagai sistem non-deterministik—namun Thinking Machines Lab melihat ini sebagai masalah yang dapat dipecahkan.
Tulisan yang dibuat oleh peneliti Thinking Machines Lab, Horace He, berpendapat bahwa akar penyebab keacakan model AI adalah cara kernel GPU—program kecil yang berjalan di dalam chip komputer Nvidia—dirangkai bersama dalam pemrosesan inferensi (segala sesuatu yang terjadi setelah Anda menekan enter di ChatGPT). Ia menyarankan bahwa dengan mengendalikan lapisan orkestrasi ini secara cermat, adalah mungkin untuk membuat model AI menjadi lebih deterministik.
Selain menciptakan respons yang lebih andal untuk perusahaan dan ilmuwan, He mencatat bahwa membuat model AI menghasilkan respons yang dapat direproduksi juga dapat meningkatkan pelatihan reinforcement learning (RL). RL adalah proses memberikan "hadiah" kepada model AI untuk jawaban yang benar, tetapi jika semua jawabannya sedikit berbeda, maka datanya menjadi sedikit "berisik" (noisy). Menurut He, menciptakan respons model AI yang lebih konsisten dapat membuat seluruh proses RL menjadi "lebih lancar". The Information sebelumnya melaporkan bahwa Thinking Machines Lab telah memberitahu investor bahwa mereka berencana menggunakan RL untuk menyesuaikan model AI bagi kalangan bisnis.
Murati, mantan Chief Technology Officer OpenAI, mengatakan pada bulan Juli bahwa produk pertama Thinking Machines Lab akan diluncurkan dalam beberapa bulan mendatang, dan produk tersebut akan "berguna bagi para peneliti dan startup yang mengembangkan model khusus." Masih belum jelas produk apa itu, atau apakah akan menggunakan teknik dari penelitian ini untuk menghasilkan respons yang lebih dapat direproduksi.
Thinking Machines Lab juga mengatakan bahwa mereka berencana untuk secara rutin menerbitkan unggahan blog, kode, dan informasi lain tentang penelitian mereka sebagai upaya untuk "memberi manfaat bagi publik, sekaligus meningkatkan budaya riset kami sendiri." Unggahan ini, yang pertama dalam seri blog baru perusahaan yang disebut “Connectionism,” tampaknya merupakan bagian dari upaya tersebut. OpenAI juga membuat komitmen untuk riset terbuka saat didirikan, tetapi perusahaan itu menjadi lebih tertutup seiring pertumbuhannya. Kita akan lihat apakah lab penelitian Murati akan tetap setia pada klaim ini.
Blog penelitian ini menawarkan kesempatan langka untuk mengintip ke dalam salah satu startup AI paling rahasia di Silicon Valley. Meskipun tidak secara gamblang mengungkapkan ke mana arah teknologi ini, tulisan ini mengindikasikan bahwa Thinking Machines Lab sedang menangani beberapa pertanyaan terbesar di garda terdepan penelitian AI. Ujian sesungguhnya adalah apakah Thinking Machines Lab dapat memecahkan masalah-masalah ini, dan menciptakan produk dari hasil penelitiannya untuk membenarkan valuasinya yang mencapai $12 miliar.
