Merdeka.com - Para peneliti mulai mengungkap salah satu misteri terbesar di balik model bahasa artificial intelligence (AI) atau kecerdasan buatan yang memberdayakan alat penghasil teks dan gambar seperti DALL-E dan ChatGPT.

Dilansir dari laman Vice, Senin (13/2), untuk sementara waktu, pakar dan ilmuwan pembelajaran mesin telah memperhatikan sesuatu yang aneh tentang model Large Language Models (LLM) seperti GPT-3 dari OpenAI dan LaMDA buatan Google.

Ilmuwan mempertanyakan mengapa model bahasa itu begitu pandai melakukan tugas yang belum dilatih secara khusus untuk mereka lakukan sampai pada akhirnya mampu mengerjakan pekerjaan dengan mulus laiknya manusia.

Bagi ilmuwan, ini adalah pertanyaan yang membingungkan. Sulit jawaban itu bisa ditemukan secara cepat. Para ilmuwan dari Institut Teknologi Massachusetts, Universitas Stanford, dan Google mengeksplorasi fenomena ‘misterius’ ini yang disebut ‘in-context learning’.

Menurut para ilmuwan, biasanya untuk menyelesaikan tugas baru, sebagian besar model pembelajaran mesin perlu dilatih ulang pada data baru, sebuah proses yang biasanya mengharuskan peneliti memasukkan ribuan poin data untuk mendapatkan hasil yang mereka inginkan. Pekerjaan semacam ini, akan begitu membosankan dan memakan waktu.

Namun dengan model ‘in-context learning’ ini, sistem dapat belajar untuk melakukan tugas baru dengan andal hanya dari beberapa contoh, yang pada dasarnya mempelajari keterampilan baru dengan cepat. Setelah diberi prompt, model bahasa dapat mengambil daftar input dan output serta membuat prediksi baru yang seringkali benar tentang tugas yang belum dilatih secara eksplisit.

Perilaku semacam ini menjadi pertanda sangat baik untuk penelitian terkait pembelajaran mesin AI. Mengungkap bagaimana mengapa hal itu bisa terjadi dan dapat menghasilkan wawasan yang tak ternilai tentang bagaimana model bahasa mempelajari serta menyimpan informasi.

"Kami menunjukkan bahwa model ini dapat belajar dari contoh dengan cepat tanpa pembaruan parameter apa pun yang kami terapkan pada model," kata Ekin Akyürek, mahasiswa doktoral dari MIT.

Dengan demikian, lanjut Akyürek, model tersebut tidak hanya menyalin data pelatihan, tetapi kemungkinan juga membangun pengetahuan sebelumnya. Para peneliti tidak menguji teori mereka dengan ChatGPT atau alat pembelajaran mesin populer lainnya yang membuat publik begitu terpikat akhir-akhir ini.

Sebaliknya, tim Akyürek bekerja dengan model yang lebih kecil dan tugas yang lebih sederhana. Ilmuwan melakukan eksperimen mereka dengan memberikan model data sintetik atau meminta program yang belum pernah terlihat sebelumnya.

Meskipun demikian, model bahasa mampu menggeneralisasi dan kemudian mengekstrapolasi pengetahuan dari mereka. Hal ini membuat tim berhipotesis bahwa model AI yang menunjukkan pembelajaran dalam konteks sebenarnya membuat model yang lebih kecil di dalam dirinya sendiri untuk mencapai tugas baru.