Semuanya, model AI generatif yang sangat generalizable adalah nama permainan dahulu, dan secara argumen masih begitu. Tetapi semakin hari, dengan penyedia awan yang besar dan kecil turut serta dalam persaingan AI generatif, kita melihat satu kumpulan model baru yang difokuskan kepada pelanggan potensial yang paling berasing: perusahaan.
Contoh: Snowflake, syarikat komputasi awan, hari ini mendedahkan Arctic LLM, sebuah model AI generatif yang digambarkan sebagai 'Enterprise-grade.' Tersedia di bawah lesen Apache 2.0, Arctic LLM dioptimumkan untuk 'beban kerja perusahaan,' termasuk dalam menghasilkan kod pangkalan data, kata Snowflake, dan adalah percuma untuk digunakan dalam penyelidikan dan perdagangan.
'Saya rasa ini akan menjadi asas yang akan membolehkan kami - Snowflake - dan pelanggan kami membina produk berkelas korporat dan benar-benar mula menghayati janji dan nilai AI,' kata CEO Sridhar Ramaswamy semasa taklimat akhbar. 'Anda sepatutnya memikirkan ini sangat banyak sebagai langkah pertama kami dalam dunia AI generatif, dengan banyak lagi akan datang.'
Sebuah model enterprise
Rakan sekerja saya, Devin Coldewey baru-baru ini menulis tentang bagaimana tidak ada pengakhiran kepada serangan model AI generatif. Saya syorkan anda membaca artikelnya, tetapi intinya adalah: Model merupakan cara mudah bagi vendor untuk menghasilkan kegembiraan untuk R&D mereka dan juga berperanan sebagai corong ke ekosistem produk mereka (contohnya hos model, penalaan halus dan sebagainya).
Arctic LLM tidak lain. Model unggulan Snowflake dalam keluarga model AI generatif yang dipanggil Arctic, Arctic LLM - yang mengambil kira tiga bulan, 1,000 GPU dan $2 juta untuk dilatih - tiba di sebelah DBRX Databricks, sebuah model AI generatif yang juga dipasarkan sebagai dioptimumkan untuk ruang perusahaan.
Snowflake membuat perbandingan langsung antara Arctic LLM dan DBRX dalam bahan cetaknya, mengatakan Arctic LLM melebihi DBRX dalam dua tugas kod (Snowflake tidak menentukan bahasa pengaturcaraan mana) dan pembangkitan SQL. Syarikat itu berkata Arctic LLM juga lebih baik dalam tugas-tugas tersebut berbanding Llama 2 70B Meta (tetapi bukan Llama 3 70B yang lebih baru) dan Mixtral-8x7B Mistral.
Snowflake juga mendakwa bahawa Arctic LLM mencapai 'prestasi terkemuka' pada penandaartahuan pemahaman bahasa umum yang popular, MMLU. Saya ingin mengingatkan, walaupun MMLU bermaksud menilai keupayaan model generatif untuk merasionalisasi masalah logik, ia termasuk ujian yang boleh diselesaikan melalui hafalan, jadi ambil perkara tersebut dengan bijaksana.
'Arctic LLM menangani keperluan-khusus dalam sektor enterprise,' kata Baris Gultekin, ketua AI di Snowflake, kepada TechCrunch dalam satu temu janji. 'Membeza dari aplikasi AI generik seperti menyusun puisi untuk memberi tumpuan kepada cabaran-cabaran berorientasikan korporat, seperti membangunkan pembantu SQL dan chatbot berkualiti tinggi.'
Arctic LLM, seperti DBRX dan model generatif Google yang terbaik pada masa ini, Gemini 1.5 Pro, adalah campuran seni bina pakar (MoE). Seni bina MoE pada dasarnya memecah tugas pemprosesan data menjadi sub-tugas dan kemudian menyerahkan kepada model 'pakar' kecil yang khusus. Jadi, walaupun Arctic LLM mengandungi 480 bilion parameter, ia hanya mengaktifkan 17 bilion pada satu-satu masa - mencukupi untuk mengendalikan 128 model pakar yang berasingan. (Parameter pada dasarnya menentukan kemahiran model AI pada masalah, seperti menganalisis dan menghasilkan teks.)
Snowflake mendakwa bahawa reka bentuk yang cekap ini membolehkannya melatih Arctic LLM pada set data web awam terbuka (termasuk RefinedWeb, C4, RedPajama dan StarCoder) dengan 'kira-kira satu-palapan kos model sama.'
Berjalan di mana-mana
Snowflake menyediakan sumber seperti templat kod dan senarai sumber latihan bersama Arctic LLM untuk membimbing pengguna melalui proses mengaktifkan model dan menalaunya untuk kes penggunaan khusus. Tetapi, menyedari bahawa itu kemungkinan akan menjadi satu tugas yang mahal dan kompleks untuk kebanyakan pembangun (menyelaraskan atau menjalankan Arctic LLM memerlukan kira-kira lapan GPU), Snowflake juga berjanji untuk membuat Arctic LLM tersedia di pelbagai hos, termasuk Hugging Face, Microsoft Azure, perkhidmatan hos model Together AI dan platform AI generatif korporat Lamini.
Tetapi, perlu diingat: Arctic LLM akan tersedia pertama kali di Cortex, platform Snowflake untuk membina aplikasi dan perkhidmatan yang dikuasakan oleh AI dan pembelajaran mesin. Syarikat secara tak menghairankan mempromosikannya sebagai cara terutama untuk menjalankan Arctic LLM dengan 'keselamatan,' 'tadbir urus' dan skalabiliti.
'Impian kami di sini adalah, dalam masa setahun, mempunyai API yang boleh digunakan oleh pelanggan kami agar pengguna perniagaan secara langsung boleh bersembang dengan data,' kata Ramaswamy. 'Ia akan menjadi mudah bagi kami untuk berkata, 'Oh, kami akan menunggu model sumber terbuka dan kami akan menggunakannya.' Sebaliknya, kami membuat pelaburan asas kerana kami percaya [ini] akan membuka lebih banyak nilai bagi pelanggan kami.''
Jadi saya bertanya-tanya: Siapakah sebenarnya yang sesuai bagi Arctic LLM selain pelanggan Snowflake?
Dalam satu landskap penuh dengan model generatif 'terbuka' yang boleh diselaraskan untuk hampir apa-apa tujuan, Arctic LLM tidak menonjol dalam cara yang jelas. Seni bina ia mungkin membawa peningkatan keberkesanan berbanding beberapa pilihan lain di luar sana. Tetapi saya tidak yakin bahawa mereka akan cukup dramatik untuk mempengaruhi perusahaan menjauh dari banyak model generatif yang lain yang diketahui dan disokong dengan baik (contohnya GPT-4).
Terdapat juga satu faktor yang perlu diambil kira dalam kekurangan Arctic LLM: konteks yang relatif kecilnya.
Dalam AI generatif, tetingkap konteks merujuk kepada data input (contohnya teks) yang model pertimbangkan sebelum menghasilkan output (contohnya teks yang lain). Model dengan tetingkap konteks kecil cenderung untuk melupakan kandungan perbualan yang sangat baru, manakala model dengan konteks yang lebih besar biasanya mengelakkan kelemahan ini.
Konteks Arctic LLM adalah di antara ~8,000 dan ~24,000 patah perkataan, bergantung kepada kaedah penalaan halus - jauh di bawah model seperti Claude 3 Opus Anthropic dan Gemini 1.5 Pro Google.
Snowflake tidak menyebutnya dalam pemasaran, tetapi Arctic LLM hampir pasti menghadapi kelemahan yang sama seperti model AI generatif lain - iaitu, halusinasi (iaitu menjawab permintaan dengan yakin secara salah). Itu kerana Arctic LLM, bersama dengan setiap model AI generatif lain yang wujud, adalah mesin kebarangkalian statistik - satu lagi, yang mempunyai tetingkap konteks yang kecil. Ia membuat tebakan berasaskan jumlah contoh yang luas yang data mana yang paling 'logik' diletakkan di mana (contohnya perkataan 'pergi' sebelum 'pasar' dalam ayat 'Saya pergi ke pasar'). Ia pasti akan membuat tebakan yang salah - dan itulah 'halusinasi'.
Seperti yang ditulis Devin dalam artikelnya, sehingga terobosan teknikal utama seterusnya, pembaikan berperingkat adalah satu-satunya yang menjadi harapan kita dalam domain AI generatif. Tetapi itu tidak akan menghentikan vendor seperti Snowflake dari mempromosikannya sebagai pencapaian hebat dan memasarkannya sebaik-baiknya.'
