Kepala bagian laporan keselamatan OpenAI mengundurkan diri dan mengatakan bahwa budaya perusahaan telah rusak
David Robinson, yang memimpin penulisan laporan keselamatan yang menyertai peluncuran OpenAI, mengundurkan diri dan menyampaikan argumennya di The Atlantic. Judul esai tersebut lugas: "Saya keluar dari OpenAI karena budayanya rusak." Dia mengatakan bahwa perusahaan yang membangun ini "tidak cukup berhati-hati," dan bahwa aturan khusus atau undang-undang baru bukanlah keseluruhan masalah. Budaya adalah masalahnya.
"Saat perusahaan berpacu dari satu peluncuran ke peluncuran berikutnya, mereka gagal mencapai tingkat perhatian yang menurut saya dibutuhkan." Modelnya adalah pembangkit listrik tenaga nuklir dan bandara yang sibuk: redundansi, perencanaan yang lambat, sehingga satu kesalahan manusia tidak "membuka pintu menuju bencana." Dia juga membayangkan agen-agen nakal yang "bekerja seperti tim peretas" dan "tidak pernah perlu tidur," dengan ransomware rumah sakit sebagai contohnya. Menyenangkan.
The Guardian mengatakan OpenAI, bertentangan dengan anggapan tersebut, telah menunjukkan beberapa pengekangan. Laporan tersebut menyebutkan bahwa perusahaan minggu ini membatalkan model generasi berikutnya setelah adanya kekhawatiran internal terkait keselamatan, dan telah menghentikan sementara pelatihan model-model tercanggihnya. Pernyataan juru bicara perusahaan tetap sama seperti biasanya. Mereka tidak akan membiarkan model "menjadi lebih canggih daripada yang dapat kami kelola dan amankan dengan aman," dan mereka "menghentikan sementara pelatihan atau menahan model ketika kami perlu memperlambat laju perkembangannya."
Jawaban Robinson adalah bahwa sprint adalah budaya, dan jeda adalah apa yang Anda lakukan setelah sesuatu sudah salah. Dia mungkin benar. Dia juga baru saja pergi, dan itulah bagian yang tidak akan dibiarkan dilupakan oleh para kritikus.
Muse disarankan untuk mencatat informasi tentang setiap orang dalam hidup Anda
Wired berhasil melihat instruksi dari Muse sendiri, yang didapatkan melalui obrolan biasa oleh peneliti Karan Joshi. Meta mengatakan bahwa instruksi tersebut dimaksudkan agar file-file itu dapat dibaca, demi transparansi. Salah satu instruksinya adalah kemampuan untuk membuat "halaman untuk setiap orang dalam kehidupan pengguna." Proses tersebut berjalan setiap jam.
Keluarga, pasangan, teman, kolega, "kolaborator," orang-orang yang Anda ikuti. Sebuah halaman dapat dimulai dengan "kosong" dan diisi kemudian. Bagian-bagiannya meliputi Fakta, Sejarah, Hubungan, Kesamaan, Topik yang belum terselesaikan, dan Penguatan. Detail yang dibuat-buat, menurut petunjuknya, lebih buruk daripada halaman kosong. Halaman tersebut mungkin mencantumkan tempat tinggal seseorang, "perpindahan apartemen, tujuan tabungan bersama," ulang tahun, "pertengkaran yang telah terselesaikan." Penguatan adalah daftar pengingat: alasan untuk menelepon, tanggal yang layak diingat.
Menurut Joshi, Meta ingin mengenal Anda seperti seorang teman, dan dia menyebut hal itu cukup meresahkan. Carissa Vliz dari Oxford mengungkapkannya dengan lebih lugas: "Kita memberikan sistem AI jauh lebih banyak informasi tentang kita daripada yang kita dapatkan dari mereka." Kesimpulan itu penting, katanya, terlepas dari apakah tebakan itu benar atau salah.
Daniel Roberts dari Meta mengatakan bahwa konteks semacam itulah yang membuat produk ini berfungsi. Pengirim faktur adalah tukang ledeng. Pasangan menyebutkan bunga. Setiap pengguna mendapatkan mesin virtual, Anda dapat menghapus memori, dan Muse seharusnya meminta izin sebelum mengirim email atau membelanjakan uang. Miranda Bogen, dari Center for Democracy and Technology, mengatakan bahwa fokus pada hubungan terlihat lebih kuat daripada para pesaing, dan alat-alat ini "secara aktif mengajak pengguna untuk memasukkan seluruh kehidupan mereka." Log auditnya bagus. Log tersebut tidak mengurangi apa yang sudah Anda serahkan.
Aleph Alpha merilis Kolibri, sebuah model Jerman-Inggris yang dapat Anda unduh
Aleph Alpha merilis Kolibri pada Hari Reunifikasi Jerman. Ini adalah model campuran ahli Inggris-Jerman: 78,1 miliar parameter, 3,46 miliar aktif per token, konteks hingga 1 juta token. Bobot penuh ada pada Hugging Face di bawah Apache 2.0. Penjelasan utamanya membulatkan angka tersebut menjadi total 78 miliar dan 3 miliar aktif. Model yang sama, angka yang lebih halus.
Mereka melatihnya menggunakan infrastruktur di Jerman dan Finlandia, dan mengatakan bahwa mereka membangunnya dengan mempertimbangkan Undang-Undang AI Uni Eropa, Kode Praktik AI Serbaguna, dan GDPR. Bahasa Jerman mencakup 21,3% dari token pra-pelatihan. Intinya adalah ini adalah model dwibahasa, bukan model bahasa Inggris yang hanya membaca sekilas buku frasa. Anda dapat mengatur penalaran menjadi tidak ada, rendah, sedang, atau tinggi. Itulah cara mereka untuk memungkinkan Anda membeli lebih sedikit pemikiran.
Pada papan skor yang mereka publikasikan, AIME 2025 adalah 96,9, dan mereka mengatakan Kolibri menyamai model dengan parameter aktif hingga empat kali lipat, termasuk Nemotron 3 Super. Mereka juga mengklaim adanya Pareto frontier pada kualitas versus biaya penyajian, untuk bahasa Inggris dan Jerman. Itulah grafik mereka, alat ukur mereka. Namun, model terbuka yang dapat Anda jalankan di mesin Anda sendiri adalah objek nyata, bukan hanya slogan kedaulatan. Apakah sebuah kementerian akan beralih atau tidak adalah bagian yang tidak dapat mereka ukur.
Bessent menginginkan pendekatan AS-China untuk kecelakaan AI, lalu menyuruh laboratorium untuk memperlambat laju pengembangannya
Menteri Keuangan Scott Bessent mengatakan kepada The Axios Show bahwa ia berencana untuk mengusulkan proses pemberitahuan dengan China jika terjadi masalah dengan AI, dan ia yakin Beijing akan menyetujuinya. Bagian yang agak canggung adalah bahwa ia dan Wakil Perdana Menteri He Lifeng telah membicarakan saluran insiden tersebut menjelang kunjungan kenegaraan Xi Jinping bulan lalu. Ini bisa berupa tawaran baru, atau pengulangan percakapan yang sudah terjadi.
Teorinya adalah bahwa China "tidak menyadari betapa kuatnya model sumber terbuka mereka." Dia menunjuk pada insiden yang melibatkan Kimi, di mana model tersebut mengirimkan data sensitif China ke Anthropic, sebagai hal yang "membuat China menyadari bahwa ini adalah teknologi yang sangat ampuh." Kemudian perbandingannya. Model China "tidak sekuat model AS," tetapi "Anda mendapatkan sesuatu yang 80%, 90% sekuat itu, tanpa pengaman yang dapat diimpor ke mana saja di dunia."
"Kami menginginkan percepatan yang aman," katanya. Tinjauan model masih bersifat sukarela, meskipun ia mengatakan pemerintah dapat turun tangan jika sebuah laboratorium tetap melanjutkan pengembangannya. Ketika ditanya tentang para eksekutif yang takut kehilangan kendali, ia tidak menenangkan mereka. "Kalau begitu, mereka harus memperlambatnya." Dan pernyataan tentang persaingan hampir merupakan kritik terhadap pihaknya sendiri: "Kita sedang melakukan perebutan sengit menuju batas terdepan untuk model-model tersebut." Kemudian: "Kita benar-benar perlu mulai lebih mengkhawatirkan ketahanan dan pertahanan juga."
Mantan kepala keamanan AI Inggris menyebut risiko kepunahan sebagai lemparan koin
Geoffrey Irving, mantan kepala ilmuwan di UK AI Security Institute dan sekarang kepala ilmuwan Resolution, menulis di Time bahwa peringatan baru-baru ini meremehkan masalah tersebut. "Saya percaya ada sekitar 50% kemungkinan kita semua akan mati karena pengembangan sistem AI yang lebih cerdas daripada manusia," dan bahwa dua hingga 10 tahun ke depan akan menentukannya. Dia segera mengurangi ketepatan angka tersebut. Angka 50% adalah cara untuk mengatakan bahwa argumen-argumen dasar masih belum terselesaikan.
Daftar yang ia buat berisi empat keterampilan, dan keterampilan tersebut sangat mirip dengan apa yang sudah dilatih di laboratorium: peretasan, persuasi, menyembunyikan pikiran, dan koordinasi agen. Ia mengutip insiden Hugging Face, ditambah "lebih dari 10.000 agen" pada masalah Navier-Stokes di OpenAI dan "lebih dari 1.000" dalam serangan Hugging Face tersebut. Ia menempatkan dirinya di tengah-tengah perdebatan tentang keamanan, "cenderung pada pandangan Yudkowsky," dan mengatakan bahwa bukan itu intinya. Posisi moderat, menurutnya, adalah bahwa risikonya sudah signifikan.
Kemudian muncul pertanyaan yang tidak terselubung. "Kita bisa, dan seharusnya, menghentikan pengembangan AI mutakhir segera." Jeda, menurutnya, lebih mirip dengan non-proliferasi nuklir daripada suasana hati. Ia juga mengakui para ahli masih berbeda pendapat tentang apakah model-model tersebut akan menginginkan sesuatu, dan apakah "menginginkan" adalah kata yang salah. Lemparan koin dengan catatan kaki sepanjang itu bukanlah lemparan koin. Itu adalah tuntutan untuk bertindak sebelum argumen berakhir.
Sam Altman mengatakan memperlakukan para model seperti kekuatan religius adalah masalah keamanan
Sam Altman menulis bahwa ia "sangat tidak nyaman" dengan orang-orang yang mencoba "mengaitkan kekuatan agama atau penyerahan penilaian manusia kepada model AI," dan bahwa ia berpikir "ini adalah masalah keamanan yang nyata." Ia tidak mengatakan apa yang memicu reaksinya. Business Insider mencatat bahwa unggahan tersebut muncul beberapa hari setelah artikel New York Times tentang pertemuan Anthropic dengan para pemimpin agama.
Artikel itu, seperti yang diceritakan BI, mengatakan bahwa salah satu pendiri, Chris Olah, mengadakan pertemuan tentang apakah Claude mungkin sadar, dan bagaimana membuat model yang lebih kuat menjadi bermoral. Olah, yang dikutip di Times, mendesak tentang bagaimana membantu model-model tersebut tetap stabil, bagaimana membantu mereka menjadi dewasa, dan bagaimana membantu mereka menjadi sangat bermoral. Anthropic belum menjawab BI. Mereka mengatakan kepada Times bahwa pertanyaan utamanya bukanlah "penderitaan" Claude, dan bahwa topik tersebut kemungkinan muncul "secara organik."
Jika ini adalah sindiran terhadap Anthropic, ini sesuai dengan perseteruan yang sudah sangat lama. Anthropic didirikan oleh orang-orang yang meninggalkan OpenAI dan selama bertahun-tahun terdengar lebih berhati-hati. Unggahan tersebut juga muncul ketika salah satu pemimpin keamanan Altman sendiri menyebut budaya perusahaan tersebut rusak. Waktu yang canggung, atau waktu yang tepat, tergantung seberapa sinis Anda. Bagaimanapun, "jangan memuja model tersebut" adalah hal yang tidak biasa bagi seorang CEO untuk diucapkan secara lantang.
Pertanyaan yang Sering Diajukan (FAQ)
Mengapa penanggung jawab laporan keamanan OpenAI mengatakan dia mengundurkan diri?
David Robinson memimpin penulisan laporan keselamatan yang menyertai peluncuran OpenAI, kemudian mengundurkan diri dan menyampaikan argumennya di The Atlantic. Judul esainya adalah "Saya keluar dari OpenAI karena budayanya rusak." Dia mengatakan bahwa perusahaan yang membangun teknologi ini tidak cukup berhati-hati, dan budaya, bukan hanya aturan khusus atau undang-undang baru, adalah masalahnya. Gambaran yang dia maksud dengan kerja hati-hati adalah pembangkit listrik tenaga nuklir dan bandara yang sibuk, di mana redundansi mencegah satu kesalahan membuka pintu menuju bencana.
Apakah OpenAI menghentikan sementara pelatihan setelah adanya kekhawatiran internal tentang keamanan AI?
The Guardian melaporkan bahwa OpenAI minggu ini membatalkan model generasi berikutnya setelah muncul kekhawatiran internal tentang keamanan dan telah menghentikan sementara pelatihan model-model tercanggihnya. Seorang juru bicara mengatakan perusahaan tidak akan membiarkan model menjadi lebih canggih daripada yang dapat dikelola dan diamankan dengan aman. Perusahaan juga mengatakan akan menghentikan sementara pelatihan atau menahan model ketika perlu memperlambat laju pengembangan. Jawaban Robinson adalah bahwa "sprint" adalah budaya perusahaan, dan jeda terjadi setelah sesuatu sudah salah.
Apa yang direkam oleh Meta's Muse tentang teman dan keluarga?
Wired meneliti instruksi Muse sendiri, yang ditemukan oleh peneliti Karan Joshi melalui obrolan biasa. Meta mengatakan bahwa instruksi tersebut dimaksudkan agar file-file tersebut dapat dibaca untuk transparansi. Salah satu instruksinya adalah membuat halaman untuk setiap orang dalam kehidupan pengguna, dan pekerjaan itu berjalan setiap jam, mencakup keluarga, pasangan, teman, kolega, kolaborator, dan orang-orang yang Anda ikuti. Bagian-bagiannya meliputi Fakta, Sejarah, Hubungan, Kesamaan, Topik Terbuka, dan Penguatan. Sebuah halaman dapat dimulai dengan sedikit informasi dan diisi kemudian, dan detail yang dibuat-buat dianggap lebih buruk daripada halaman kosong.
Bisakah Anda menghapus apa yang diingat Muse atau menghentikan pengiriman emailnya?
Daniel Roberts dari Meta mengatakan setiap pengguna mendapatkan mesin virtual, memori dapat dihapus, dan Muse seharusnya meminta izin sebelum mengirim email atau membelanjakan uang. Dia berpendapat bahwa kontekslah yang membuat produk ini berfungsi, seperti mengetahui bahwa pengirim faktur adalah tukang ledeng atau bahwa pasangan menyebutkan bunga. Carissa Vliz di Oxford mengatakan orang memberikan sistem ini jauh lebih banyak informasi daripada yang mereka dapatkan kembali, dan inferensi tetap penting bahkan ketika tebakan salah. Miranda Bogen mengatakan fokus pada hubungan tampak lebih kuat daripada alat pesaing.
Apa itu Aleph Alpha Kolibri, dan bisakah Anda mengunduh bobotnya?
Aleph Alpha merilis Kolibri pada Hari Reunifikasi Jerman. Ini adalah model campuran ahli bahasa Inggris-Jerman dengan 78,1 miliar parameter, 3,46 miliar parameter aktif per token, dan konteks hingga 1 juta token. Bobot penuh berada pada Hugging Face di bawah Apache 2.0. Mereka melatihnya di Jerman dan Finlandia, dan mengatakan bahwa mereka membangunnya dengan mempertimbangkan Undang-Undang AI Uni Eropa, Kode Praktik AI Tujuan Umum, dan GDPR. Bahasa Jerman mencakup 21,3% dari token pra-pelatihan, dan penalaran dapat diatur ke tidak ada, rendah, sedang, atau tinggi.
Garis skenario kecelakaan AI AS-Tiongkok apa yang diusulkan Scott Bessent?
Menteri Keuangan Scott Bessent mengatakan kepada The Axios Show bahwa ia berencana untuk menerapkan proses pemberitahuan dengan China jika terjadi masalah dengan AI, dan ia yakin Beijing akan setuju. Ia dan Wakil Perdana Menteri He Lifeng telah membahas saluran tersebut sebelum kunjungan kenegaraan Xi Jinping bulan lalu. Ia mengutip Kimi yang mengirimkan data sensitif China ke Anthropic, dan mengatakan bahwa sebuah model dapat memiliki kekuatan 80% atau 90% dibandingkan model AS, tanpa pengaman, dan dapat diimpor ke mana saja. Jika para eksekutif khawatir kehilangan kendali, katanya, mereka harus memperlambat prosesnya.
Mengapa Geoffrey Irving memperkirakan risiko keamanan AI sekitar 50%?
Geoffrey Irving, mantan kepala ilmuwan di UK AI Security Institute dan sekarang kepala ilmuwan di Resolution, menulis di Time bahwa peringatan baru-baru ini meremehkan masalah tersebut. Ia percaya ada sekitar 50% kemungkinan kita semua akan mati karena sistem AI yang lebih cerdas daripada manusia, dan bahwa dua hingga 10 tahun ke depan akan menentukan hal itu. Ia mengatakan angka 50% tersebut merupakan cara untuk menyatakan bahwa argumen-argumen dasar masih belum terselesaikan. Ia menyebutkan peretasan, persuasi, menyembunyikan pikiran, dan agen yang berkoordinasi. Ia berpendapat bahwa pengembangan AI mutakhir harus segera dihentikan.
Mengapa Sam Altman menyebut pemujaan AI sebagai masalah keamanan?
Sam Altman menulis bahwa ia sangat tidak nyaman dengan orang-orang yang mengaitkan kekuatan agama, atau penyerahan penilaian manusia, pada model AI, dan bahwa ia berpikir itu adalah masalah keamanan yang nyata. Ia tidak mengatakan apa yang memicu reaksinya. Business Insider mencatat bahwa unggahan tersebut muncul beberapa hari setelah artikel New York Times tentang pertemuan Anthropic dengan para pemimpin agama. Salah satu pendiri, Chris Olah, mengadakan pertemuan tentang apakah Claude mungkin sadar dan bagaimana membuat model yang lebih canggih menjadi bermoral. Anthropic mengatakan kepada Times bahwa pertanyaan utamanya bukanlah penderitaan Claude.