Tahun lalu, saat menghadiri Febraban Tech 2024, sebuah acara industri layanan keuangan di LATAM, kami terkejut mengetahui bahwa 96% bank yang disurvei telah memiliki inisiatif kecerdasan buatan (AI). Kami pun bertanya-tanya—berapa banyak bank yang benar-benar memanfaatkan inisiatif AI ini? Bagaimana lembaga jasa keuangan (FSI) dapat memanfaatkan Small Language Models (SLM)? Dan, apakah manfaat ini juga bisa diterapkan di luar sektor keuangan?
Apa itu Small Language Models (SLM)?
Salah satu aspek utama dari model AI adalah jumlah parameter yang digunakan untuk melatih model tersebut. Dalam eksplorasi model AI, jumlah parameter ini biasanya mencapai miliaran. Semakin besar jumlahnya, semakin kaya pembelajarannya dan semakin canggih kemampuannya dalam menangani tugas bahasa yang kompleks.
Apakah lebih besar selalu lebih baik? Tidak selalu. Jika Anda ingin menyesuaikan model dengan ratusan miliar parameter, Anda akan membutuhkan sumber daya komputasi dan GPU yang sangat besar—proses ini bisa memakan waktu berhari-hari atau bahkan berminggu-minggu hanya untuk satu kali pelatihan ulang model.
Small Language Model (SLM) adalah model yang lebih kecil yang dapat disesuaikan atau di-tuning ulang dengan data Anda sendiri dalam waktu yang wajar, menggunakan perangkat keras yang tersedia saat ini (dengan asumsi Anda memiliki sumber daya komputasi yang memadai atau akses ke layanan cloud yang sesuai).
Jika Anda melakukan riset tentang model AI, Anda akan menemukan bahwa beberapa model menawarkan varian parameter dari model dasarnya. Contohnya, keluarga model Granite 3.1 menyediakan varian dari kurang dari satu miliar hingga 34 miliar parameter. Sebaiknya mulailah dengan varian yang lebih kecil untuk memahami kemampuan model sebelum meningkatkan ke ukuran yang lebih besar—dengan begitu, Anda dapat mengevaluasi apakah peningkatan parameter benar-benar memberikan manfaat yang signifikan. Dengan model yang lebih kecil, Anda dapat memulai lebih cepat dan melakukan tuning dalam waktu yang lebih singkat.
SLM dalam Layanan Keuangan
Dalam penelitian kami, kami menemukan artikel menarik dari Drew Breunig yang membagi AI ke dalam tiga kategori utama: Gods, Interns, dan Cogs.
- “Gods”: AI yang dapat menggantikan manusia sepenuhnya atau dikenal sebagai Artificial General Intelligence (AGI). Ini adalah bidang yang menerima banyak pendanaan dan penelitian.
- “Interns”: AI yang mampu menghasilkan konten dengan sangat baik, tetapi tetap memerlukan pemeriksaan manusia untuk memastikan keakuratannya.
- “Cogs”: Model AI yang dibangun untuk tujuan tertentu, memiliki tingkat kesalahan yang rendah, dan dapat berjalan tanpa pengawasan. SLM termasuk dalam kategori ini, memungkinkan penghematan biaya yang signifikan.
Dalam industri layanan keuangan, AI tipe “Intern” cocok untuk tugas seperti pengujian, pengembangan kode, uji tekanan (stress test), dan peramalan. Sementara itu, AI tipe “Cog” sangat ideal untuk pelayanan pelanggan, personalisasi tingkat tinggi, deteksi penipuan, dan pengelolaan dokumen, yang semuanya membutuhkan model AI dengan kesalahan rendah dan akurasi tinggi.
Tugas-tugas ini sebenarnya tidak hanya terbatas pada industri layanan keuangan. Banyak industri lain dapat memanfaatkan model SLM dengan cara yang sama, menjadikannya solusi yang lebih luas untuk berbagai kebutuhan bisnis.
Keuntungan Menggunakan SLM
Apakah ada minat terhadap model AI yang lebih besar dan kompleks? Tentu saja. Model-model besar bisa berguna untuk mekanisme pengawasan, pelatihan model dasar, atau ketika diperlukan pengetahuan umum yang luas. Namun, model ini juga datang dengan biaya, kompleksitas, dan kebutuhan sumber daya yang lebih tinggi.
Alih-alih menggunakan pendekatan AI yang monolitik dan hanya mengandalkan satu model bahasa besar (LLM), organisasi dapat mempertimbangkan kombinasi model yang terdiri dari SLM dan/atau LLM. Pendekatan ini menjadi semakin menarik jika model-model ini dapat diintegrasikan dengan aplikasi cloud-native atau sistem IT tradisional, menciptakan alur kerja yang terhubung dalam lingkungan hybrid cloud.
Menggunakan beberapa SLM yang dibangun untuk tujuan tertentu dapat membantu organisasi dalam:
✅ Meningkatkan keamanan konten dengan mengontrol semua aspek model.
✅ Mempercepat inovasi melalui proses tuning yang lebih cepat.
✅ Mengatur akses dengan lebih baik melalui pembatasan akses ke sistem back-end berdasarkan model.
✅ Meningkatkan kontrol kualitas dengan versi model yang lebih jelas.
✅ Menghemat biaya dan meningkatkan efisiensi dengan mengurangi waktu pelatihan model.
Kabar baiknya, alat open source untuk membangun dan bereksperimen dengan SLM sudah tersedia. Kami merekomendasikan untuk mencoba InstructLab, proyek inovatif yang dikembangkan oleh IBM dan Red Hat. Alat ini dirancang untuk membantu organisasi menyelaraskan model AI mereka secara lebih efisien, sehingga mereka dapat berkontribusi pada pengembangan Generative AI yang lebih relevan dengan kebutuhan bisnis mereka.
Kesimpulan: Mengapa SLM Penting?
SLM bukan hanya solusi untuk industri layanan keuangan, tetapi juga untuk komunitas bisnis yang lebih luas. Dengan alat dan model open source, Anda dapat menyesuaikan dan menyempurnakan AI sesuai kebutuhan bisnis Anda sendiri.