Minggu ini dalam bidang Kecerdasan Buatan: Apabila 'sumber terbuka' tidak terlalu terbuka

Menyimpan keupayaan dalam industri yang bergerak dengan cepat seperti Kecerdasan Buatan adalah tugas yang sukar. Oleh itu sehingga AI dapat melakukannya untuk anda, berikut adalah ringkasan berguna mengenai cerita-cerita terkini dalam dunia pembelajaran mesin, bersama-sama dengan penyelidikan dan eksperimen yang menarik yang tidak kami liput secara khusus.

Minggu ini, Meta telah mengeluarkan yang terbaru dalam siri model generatif AI Llama: Llama 3 8B dan Llama 3 70B. Mampu menganalisis dan menulis teks, model-model ini "dibuka secara sumber," kata Meta - dimaksudkan untuk menjadi "komponen asas" sistem yang dibangunkan oleh para pembangun dengan matlamat unik mereka dalam fikiran.

"Kami percaya bahawa model-model 'sumber terbuka' terbaik kelas mereka, tanpa syak," Meta menulis dalam catatan blog. "Kami menganut etos sumber terbuka merilis awal dan sering."

Hanya ada satu masalah: Model-model Llama 3 sebenarnya tidak benar-benar sumber terbuka, sekurang-kurangnya tidak mengikut definisi yang paling ketat.

Sumber terbuka bermakna bahawa pembangun boleh menggunakan model-model tersebut mengikut kehendak mereka. Tetapi dalam kes Llama 3 - seperti juga dalam Llama 2 - Meta telah mengenakan beberapa sekatan lesen tertentu. Sebagai contoh, model-model Llama tidak boleh digunakan untuk melatih model-model lain. Dan pembangun aplikasi dengan lebih daripada 700 juta pengguna bulanan harus meminta lesen khas daripada Meta.

Perdebatan mengenai definisi sumber terbuka bukanlah perkara baru. Tetapi apabila syarikat-syarikat dalam ruang AI bermain dengan terma tersebut, ia menyuntik bahan api ke dalam perbincangan filsafat yang berterusan.

Pada bulan Ogos yang lalu, satu kajian yang sama-sama ditulis oleh penyelidik di Carnegie Mellon, Institute AI Now dan Signal Foundation menemui bahawa banyak model AI yang diberi label "sumber terbuka" hadir dengan kekangan yang besar - bukan hanya Llama. Data yang diperlukan untuk melatih model-model tersebut disimpan rahsia. Kuasa komputasi yang diperlukan untuk menjalankannya berada di luar jangkauan ramai pembangun. Dan buruh untuk menyelaraskan mereka adalah terlalu mahal.

Jadi jika model-model ini sebenarnya bukan sumber terbuka, apakah mereka, sebenarnya? Itu adalah soalan yang bagus; menentukan sumber terbuka berkaitan dengan AI bukanlah tugas yang mudah.

Satu soalan yang belum diselesaikan adalah sama ada hak cipta, mekanisme IP asas yang lesen sumber terbuka bergantung padanya, boleh digunakan untuk komponen dan bahagian yang berbeza dalam projek AI, khususnya struktur dalaman model (contohnya, embeddings). Kemudian terdapat keperluan untuk mengatasi ketidak cocokan antara persepsi sumber terbuka dan bagaimana AI sebenarnya berfungsi: Sumber terbuka dicipta sebahagian untuk memastikan bahawa pembangun dapat mengkaji dan mengubahsuai kod tanpa sekatan. Dengan AI, walaupun, komponen yang diperlukan untuk mengkaji dan mengubahsuaikan adalah tertakluk kepada tafsiran.

Menyelam melalui semua ketidakpastian, kajian Carnegie Mellon mempertegas bahawa keburukan yang ada dalam syarikat teknologi gergasi seperti Meta menyelewengkan frasa "sumber terbuka."

Seringkali, projek AI "sumber terbuka" seperti Llama akhirnya memulakan kitaran berita - pemasaran percuma - dan memberikan manfaat teknikal dan strategik kepada pembangun projek tersebut. Komuniti sumber terbuka jarang melihat manfaat yang sama, dan apabila mereka melihat, ia adalah margin berbanding dengan maintainernya.

Daripada merakyatkan AI, projek AI "sumber terbuka" - terutamanya yang datang dari syarikat Teknologi Besar - cenderung untuk mengekalkan dan memperluas kuasa yang terpusat, kata penyunting kajian. Ia adalah baik untuk diingat pada kali berikutnya pelepasan model "sumber terbuka" besar berlaku.

Di sini adalah beberapa cerita AI lain yang menarik dari beberapa hari yang lepas:

• Meta mengemaskini chatbotnya: Seiring dengan kemunculan Llama 3, Meta meningkatkan chatbot AI mereka di seluruh Facebook, Messenger, Instagram dan WhatsApp - Meta AI - dengan bahagian belakang berasaskan Llama 3. Mereka juga melancarkan ciri-ciri baru, termasuk generasi imej lebih cepat dan akses kepada keputusan carian web.
• AI menghasilkan pornografi: Ivan menulis mengenai bagaimana Lembaga Pengawasan, majlis dasar separa-bebas Meta, memperhatikan cara platform sosial syarikat tersebut mengendalikan imej eksplisit yang dihasilkan oleh AI.
• Cap air Snap: Perkhidmatan media sosial Snap merancang untuk menambah cap air ke imej yang dihasilkan oleh AI di platformnya. Versi transparan logo Snap dengan emoji berkilauan, cap air baru ini akan ditambah ke apa-apa imej yang dihasilkan oleh AI yang dieksport dari aplikasi atau disimpan ke rol kamera.
• Atlas baru: Kumpulan robot Hyundai, Boston Dynamics, telah mengumumkan robot Atlas generasi berikutnya mereka, yang, berbeza dengan pendahulunya yang dikuasakan hidraulik, adalah sepenuhnya elektrik - dan jauh lebih mesra penampilannya.
• Humanoids pada humanoid: Tidak mahu ketinggalan oleh Boston Dynamics, pengasas Mobileye, Amnon Shashua, telah melancarkan sebuah startup baru, MenteeBot, yang berfokus pada pembinaan sistem robotik bipedal. Video demo menunjukkan prototaip MenteeBot berjalan ke meja dan mengambil buah.
• Reddit, diterjemahkan: Dalam temubual dengan Amanda, Ketua Pegawai Produk Reddit, Pali Bhat, mendedahkan bahawa ciri terjemahan bahasa AI untuk membawa rangkaian sosial ke audiens global lebih sedang dalam pembangunan, bersama dengan alat bantu moderasi yang dilatih pada keputusan dan tindakan moderator Reddit sebelum ini.
• Kandungan LinkedIn yang dihasilkan oleh AI: LinkedIn secara senyap telah mula menguji cara baru untuk meningkatkan pendapatannya: langganan Halaman Syarikat Premium LinkedIn, yang - dengan yuran yang kelihatan seberapa tinggi seperti $99/bulan - termasuk AI untuk menulis kandungan dan satu set alat untuk menumbuhkan pengikut.
• Penunjuk arah: kilang ibu Google, Alphabet, X, minggu ini mengumumkan Project Bellwether, usahanya terkini untuk mengaplikasikan teknologi kepada beberapa masalah terbesar dunia. Di sini, itu bermakna menggunakan alat AI untuk mengenal pasti bencana semula jadi seperti kebakaran hutan dan banjir secepat mungkin.
• Melindungi kanak-kanak dengan AI: Ofcom, badan pengawas yang diberi tugas untuk menegakkan Akta Keselamatan Dalam Talian U.K., merancang untuk menjalankan penerokaan mengenai bagaimana AI dan alat automatik lain boleh digunakan untuk secara proaktif mengesan dan mengeluarkan kandungan haram secara dalam talian, khususnya untuk melindungi kanak-kanak dari kandungan berbahaya.
• OpenAI tiba di Jepun: OpenAI sedang berkembang di Jepun, dengan pembukaan pejabat baru di Tokyo dan rancangan untuk model GPT-4 yang dioptimumkan khas untuk bahasa Jepun.

Lebih banyak pembelajaran mesin

Bolehkah chatbot mengubah pendapat anda? Penyelidik Swiss menemui bahawa bukan sahaja mereka boleh mengubah pendapat anda, tetapi jika mereka telah dipersenjatai dengan beberapa maklumat peribadi tentang anda, mereka juga boleh menjadi lebih meyakinkan dalam perdebatan daripada manusia yang memiliki maklumat yang sama.

"Ini adalah Cambridge Analytica di atas steroid," kata ketua projek Robert West dari EPFL. Para penyelidik mencurigai model - GPT-4 dalam kes ini - merujuk kepada stor besar hujung mereka dan fakta dalam talian untuk menyajikan kes yang lebih meyakinkan dan yakin. Tetapi hasilnya agak jelas. Jangan meremehkan kekuatan LLM dalam hal-hal persuasi, amaran West: \"Dalam konteks pilihan raya Amerika akan datang, orang bimbang kerana itulah tempat teknologi ini selalu diuji dalam pertempuran pertama. Satu perkara yang pasti ialah orang akan menggunakan kekuatan model-model bahasa besar untuk cuba mempengaruhi pilihan raya.\"

Mengapa model-model ini sangat mahir dalam bahasa? Itu adalah satu bidang yang mempunyai sejarah panjang penyelidikan, bermula dari ELIZA. Jika anda ingin mengetahui tentang orang yang telah berada di sana untuk sebahagian besar daripada itu (dan melaksanakan tidak sedikit daripadanya sendiri), lihat profil ini mengenai Christopher Manning dari Stanford. Beliau baru saja dianugerahkan Pingat John von Neumann. Tahniah!

Dalam satu temu bual yang berfomat, penyelidik kecerdasan buatan jangka panjang lain (yang juga pernah hadir di peringkat TechCrunch), Stuart Russell, dan sarjana pasca kajian Michael Cohen merancang tentang \"Bagaimana untuk mengelakkan AI daripada membunuh kita semua.\" Mungkin lebih baik mencari penyelesaian lebih awal daripada kemudian! Tetapi ini bukanlah perbincangan yang ringan - ini orang yang cemerlang bercakap tentang bagaimana kita sebenarnya dapat memahami motivasi (jika itu kata yang betul) model-model AI dan bagaimana peraturan harus dibina mengelilingi mereka.

Stuart Russell tentang bagaimana membuat AI 'selari dengan manusia'

Temubual sebenarnya berkaitan dengan satu kertas dalam Sains yang diterbitkan pada awal bulan ini, di mana mereka mencadangkan bahawa AI canggih yang mampu bertindak secara strategik untuk mencapai matlamat mereka (apa yang mereka panggil \"agens perancangan jangka panjang\") mungkin mustahil untuk diuji. Pada dasarnya, jika model belajar untuk \"memahami\" ujian yang mesti lalu untuk berjaya, ia mungkin belajar cara untuk meniadakan atau mengelakkan ujian tersebut secara kreatif. Kita telah melihatnya dalam skala kecil, jadi mengapa tidak dalam skala besar?

Russell mencadangkan menyekat peralatan keras yang diperlukan untuk menjadikan ejen-ejen sedemikian.....tetapi tentu sahaja, Los Alamos National Laboratory (LANL) dan Sandia National Labs baru saja menerima penghantaran mereka. LANL baru sahaja mengadakan upacara pemotongan pita untuk Venado, superkomputer baru yang ditujukan untuk penyelidikan kecerdasan buatan, yang terdiri daripada 2,560 cip Nvidia Grace Hopper.

Dan Sandia baru menerima \"sistem komputasi berasaskan otak luar biasa yang dipanggil Hala Point,\" dengan 1.15 bilion neuron tiruan, yang dibina oleh Intel dan dipercayai menjadi sistem terbesar sedemikian di dunia. Pengkomputeran neuromorphik, seperti yang dinamakan, tidak dimaksudkan untuk menggantikan sistem seperti Venado, tetapi dimaksudkan untuk mengejar kaedah pengiraan baru yang lebih mirip otak daripada pendekatan yang lebih tertumpu kepada statistik yang kita lihat dalam model-model moden.

Dengan sistem sebanyak satu bilion neuron, kita akan mempunyai peluang untuk menghasilkan inovasi pada skala baru yang lebih efisien dan lebih bijak daripada algoritma-algoritma yang sedia ada, serta pendekatan baru yang lebih mirip otak kepada algoritma komputer sedia ada seperti optimisasi dan pemodelan,\" kata penyelidik Sandia Brad Aimone. Bunyinya hebat ... betul-betul hebat!