Seberapa banyak energi yang digunakan AI? [Video dan Kuis]

Jawaban: AI dapat menggunakan sangat sedikit listrik untuk tugas teks sederhana, tetapi jauh lebih banyak ketika perintahnya panjang, outputnya multimodal, atau sistem beroperasi dalam skala besar. Pelatihan biasanya merupakan beban energi utama di awal, sementara inferensi sehari-hari menjadi signifikan seiring dengan akumulasi permintaan.

Poin-poin penting:

Konteks: Definisikan tugas, model, perangkat keras, dan skala sebelum memberikan perkiraan energi apa pun.

Pelatihan: Perlakukan pelatihan model sebagai acara energi utama di awal perencanaan anggaran.

Inferensi: Perhatikan inferensi berulang dengan cermat, karena biaya kecil per permintaan akan cepat menumpuk dalam skala besar.

Infrastruktur: Sertakan pendinginan, penyimpanan, jaringan, dan kapasitas menganggur dalam perkiraan yang realistis.

Efisiensi: Gunakan model yang lebih kecil, perintah yang lebih singkat, caching, dan batching untuk mengurangi penggunaan energi.

Artikel-artikel yang mungkin ingin Anda baca setelah ini:

🔗 Bagaimana AI memengaruhi lingkungan
Menjelaskan jejak karbon, penggunaan energi, dan pertimbangan keberlanjutan yang terkait dengan AI.

🔗 Apakah AI buruk bagi lingkungan?
Mengungkap biaya lingkungan tersembunyi dari model AI dan pusat data.

🔗 Apakah AI itu baik atau buruk? Kelebihan dan kekurangannya
Tinjauan berimbang mengenai manfaat, risiko, etika, dan dampak nyata AI.

🔗 Apa itu AI? Panduan sederhana
Pelajari dasar-dasar AI, istilah-istilah kunci, dan contoh-contoh sehari-hari dalam hitungan menit.

Mengapa pertanyaan ini lebih penting daripada yang orang kira 🔍

Penggunaan energi oleh AI bukan hanya sekadar isu lingkungan. Ini menyentuh beberapa hal yang sangat nyata:

• Biaya listrik - khususnya untuk bisnis yang menjalankan banyak permintaan AI.

• Dampak karbon - tergantung pada sumber daya yang digunakan di balik server.

• Beban perangkat keras - chip yang canggih membutuhkan daya yang besar.

• Pengambilan keputusan berskala besar - satu tindakan murah dapat berubah menjadi jutaan tindakan mahal.

• Desain produk - efisiensi seringkali merupakan fitur yang lebih baik daripada yang disadari orang (Google Cloud, Green AI)

Banyak orang bertanya “Berapa banyak energi yang digunakan AI?” karena mereka menginginkan angka yang dramatis. Sesuatu yang sangat besar. Sesuatu yang menarik perhatian media. Tetapi pertanyaan yang lebih baik adalah: Jenis penggunaan AI apa yang kita bicarakan? Karena itu mengubah segalanya. (IEA)

Satu saran pelengkapan otomatis? Cukup kecil.
Melatih model mutakhir di seluruh klaster besar? Jauh, jauh lebih besar.
Alur kerja AI perusahaan yang selalu aktif dan menjangkau jutaan pengguna? Ya, itu akan bertambah dengan cepat... seperti uang receh yang berubah menjadi pembayaran sewa. (DOE, Google Cloud)

Seberapa banyak energi yang digunakan AI? Jawaban singkatnya ⚡

Berikut versi praktisnya.

AI dapat menggunakan daya listrik mulai dari sebagian kecil watt-jam untuk tugas ringan hingga sejumlah besar listrik untuk pelatihan dan penerapan skala besar. Rentang tersebut terdengar sangat luas karena memang demikian adanya. (Google Cloud, Strubell dkk.)

Sederhananya:

• Tugas inferensi sederhana - seringkali relatif sederhana jika dilihat dari segi penggunaan.

• Percakapan panjang, output besar, pembuatan gambar, pembuatan video - jelas lebih boros energi.

• Melatih model berukuran besar - juara kelas berat dalam hal konsumsi daya.

• Menjalankan AI dalam skala besar sepanjang hari - di mana "biaya kecil per permintaan" menjadi "tagihan total yang besar" (Google Cloud, DOE)

Aturan praktis yang baik adalah sebagai berikut:

• Pelatihan adalah acara pengerahan energi besar di awal 🏭

• Inferensi adalah tagihan utilitas yang terus menerus 💡 (Strubell dkk., Google Research)

Jadi ketika seseorang bertanya, Berapa banyak energi yang digunakan AI?,jawaban langsungnya adalah, “Bukan satu jumlah tertentu - tetapi cukup banyak sehingga efisiensi menjadi penting, dan cukup besar sehingga skala mengubah segalanya.” (IEA, Green AI)

Saya tahu, itu tidak semenarik yang orang inginkan. Tapi itu benar.

Apa yang membuat estimasi energi berbasis AI menjadi bagus? 🧠

Estimasi yang baik bukanlah sekadar angka dramatis yang ditampilkan dalam grafik. Estimasi praktis mencakup konteks. Jika tidak, itu seperti menimbang kabut dengan timbangan kamar mandi. Cukup dekat untuk terdengar mengesankan, tetapi tidak cukup dekat untuk dipercaya. (IEA, Google Cloud)

Estimasi konsumsi energi AI yang layak harus mencakup:

• Jenis tugas - teks, gambar, audio, video, pelatihan, penyempurnaan

• Ukuran model - model yang lebih besar biasanya membutuhkan lebih banyak daya komputasi.

• Perangkat keras yang digunakan - tidak semua chip memiliki efisiensi yang sama.

• Durasi sesi - petunjuk singkat dan alur kerja multi-langkah yang panjang sangat berbeda.

• Pemanfaatan - sistem yang tidak aktif pun tetap mengonsumsi daya.

• Pendinginan dan infrastruktur - biaya server bukanlah keseluruhan tagihan.

• Lokasi dan bauran energi - listrik tidak sama bersihnya di setiap tempat (Google Cloud, IEA)

Inilah mengapa dua orang bisa berdebat tentang penggunaan listrik AI dan keduanya terdengar percaya diri meskipun membicarakan hal yang sama sekali berbeda. Satu orang maksudnya adalah satu respons chatbot. Yang lain maksudnya adalah simulasi pelatihan besar-besaran. Keduanya menyebut "AI," dan tiba-tiba percakapan melenceng dari jalur yang seharusnya 😅

Tabel Perbandingan - cara terbaik untuk memperkirakan penggunaan energi AI 📊

Berikut tabel praktis bagi siapa pun yang mencoba menjawab pertanyaan tersebut tanpa mengubahnya menjadi seni pertunjukan.

Alat atau metode	Audiens terbaik	Harga	Mengapa ini berhasil
Perkiraan sederhana berdasarkan aturan praktis	Para pembaca yang ingin tahu, mahasiswa	Bebas	Cepat, mudah, sedikit buram - tetapi cukup baik untuk perbandingan kasar
Pengukur daya sisi perangkat	Pembuat bangunan tunggal, penghobi	Rendah	Mengukur konsumsi daya mesin yang sebenarnya, yang sangat konkret
Dasbor telemetri GPU	Insinyur, tim ML	Sedang	Detail yang lebih baik pada tugas-tugas yang membutuhkan banyak komputasi, meskipun mungkin mengabaikan biaya operasional fasilitas yang lebih besar
Penagihan berbasis cloud + log penggunaan	Startup, tim operasional	Sedang hingga tinggi	Menghubungkan penggunaan AI dengan pengeluaran nyata - tidak sempurna, namun tetap cukup berharga
Pelaporan energi pusat data	Tim perusahaan	Tinggi	Memberikan visibilitas operasional yang lebih luas, pendinginan dan infrastruktur mulai terlihat di sini
Penilaian siklus hidup lengkap	Tim keberlanjutan, organisasi besar	Agak tinggi, terkadang menyakitkan	Paling cocok untuk analisis serius karena melampaui sekadar chip itu sendiri... tetapi lambat dan agak berat

Tidak ada metode yang sempurna. Itulah bagian yang sedikit membuat frustrasi. Tetapi ada tingkatan nilai. Dan biasanya, sesuatu yang bermanfaat lebih baik daripada yang sempurna. (Google Cloud)

Faktor terpenting bukanlah sihir - melainkan komputasi dan perangkat keras 🖥️🔥

Ketika orang membayangkan penggunaan energi oleh AI, mereka sering membayangkan model itu sendiri sebagai hal yang mengonsumsi daya. Tetapi model tersebut adalah logika perangkat lunak yang berjalan di atas perangkat keras. Perangkat keras itulah tempat tagihan listrik muncul. (Strubell dkk., Google Cloud)

Variabel terbesar biasanya meliputi:

• Jenis GPU atau akselerator

• Berapa banyak chip yang digunakan?

• Berapa lama mereka tetap aktif?

• Beban memori

• Ukuran batch dan kapasitas produksi

• Apakah sistem dioptimalkan dengan baik atau hanya memaksakan segalanya secara membabi buta (Google Cloud, Strategi Kuantisasi, Pengelompokan, dan Penyajian dalam Penggunaan Energi LLM)

Sistem yang sangat optimal dapat melakukan lebih banyak pekerjaan dengan energi yang lebih sedikit. Sistem yang ceroboh dapat membuang listrik dengan sangat boros. Anda tahu sendiri bagaimana keadaannya - beberapa sistem seperti mobil balap, beberapa seperti gerobak belanja dengan roket yang ditempelkan dengan lakban 🚀🛒

Ya, ukuran model memang penting. Model yang lebih besar cenderung membutuhkan lebih banyak memori dan komputasi, terutama saat menghasilkan output yang panjang atau menangani penalaran yang kompleks. Namun, trik efisiensi dapat mengubah keadaan: (AI Hijau, Kuantisasi, Pengelompokan, dan Strategi Penyajian dalam Penggunaan Energi LLM)

• kuantisasi

• rute yang lebih baik

• model spesialis yang lebih kecil

• penyimpanan sementara

• pengelompokan

• Penjadwalan perangkat keras yang lebih cerdas (Strategi Kuantisasi, Pengelompokan, dan Penyajian dalam Penggunaan Energi LLM)

Jadi pertanyaannya bukan hanya "Seberapa besar modelnya?" Tetapi juga "Seberapa cerdas model tersebut dijalankan?"

Pelatihan vs inferensi - keduanya sangat berbeda 🐘🐇

Inilah perpecahan yang membingungkan hampir semua orang.

Pelatihan

Pelatihan adalah proses di mana sebuah model mempelajari pola dari kumpulan data yang sangat besar. Proses ini dapat melibatkan banyak chip yang berjalan dalam jangka waktu lama, mengolah volume data yang sangat besar. Tahap ini sangat boros energi. Terkadang sangat boros. (Strubell dkk.)

Energi latihan bergantung pada:

• ukuran model

• ukuran dataset

• jumlah sesi latihan

• percobaan yang gagal

• penyempurnaan lintasan

• efisiensi perangkat keras

• Biaya pendinginan tambahan (Strubell dkk., Google Research)

Dan inilah bagian yang sering dilewatkan orang - publik sering membayangkan satu sesi pelatihan besar, dilakukan sekali, selesai. Dalam praktiknya, pengembangan dapat melibatkan sesi berulang, penyempurnaan, pelatihan ulang, evaluasi, dan semua iterasi yang membosankan namun mahal di sekitar acara utama. (Strubell dkk., Green AI)

Kesimpulan

Inferensi adalah model yang menjawab permintaan pengguna sebenarnya. Satu permintaan mungkin tampak sepele. Tetapi inferensi terjadi berulang kali. Jutaan kali. Terkadang miliaran kali. (Google Research, DOE)

Energi inferensi meningkat seiring dengan:

• panjang perintah

• panjang keluaran

• jumlah pengguna

• persyaratan latensi

• fitur multimodal

• ekspektasi waktu aktif

• Langkah-langkah keamanan dan pasca-pemrosesan (Google Cloud, Strategi Kuantisasi, Pengelompokan, dan Penyajian dalam Penggunaan Energi LLM)

Jadi, pelatihan adalah gempa bumi. Kesimpulan adalah pasang surut. Yang satu dramatis, yang lain terus-menerus, dan keduanya dapat sedikit mengubah bentuk pantai. Mungkin ini metafora yang tidak biasa, tetapi cukup masuk akal... kurang lebih.

Biaya energi tersembunyi yang sering dilupakan orang 😬

Ketika seseorang memperkirakan penggunaan daya AI hanya dengan melihat chipnya saja, mereka biasanya meremehkan jumlah sebenarnya. Tidak selalu berakibat fatal, tetapi cukup signifikan. (Google Cloud, IEA)

Berikut adalah bagian-bagian yang tersembunyi:

Pendinginan ❄️

Server menghasilkan panas. Perangkat keras AI yang canggih menghasilkan panas yang sangat banyak. Pendinginan bukanlah pilihan, melainkan keharusan. Setiap watt yang dikonsumsi oleh komputasi cenderung memicu penggunaan energi lebih banyak hanya untuk menjaga suhu tetap terkendali. (IEA, Google Cloud)

Pergerakan data 🌐

Memindahkan data antar penyimpanan, memori, dan jaringan juga membutuhkan energi. AI bukan hanya "berpikir." AI juga terus-menerus mengolah informasi. (IEA)

Kapasitas menganggur 💤

Sistem yang dibangun untuk memenuhi permintaan puncak tidak selalu beroperasi pada permintaan puncak. Infrastruktur yang menganggur atau kurang dimanfaatkan tetap mengonsumsi listrik. (Google Cloud)

Redundansi dan keandalan 🧱

Cadangan data, sistem failover, wilayah duplikat, lapisan pengaman - semuanya berharga, semuanya merupakan bagian dari gambaran energi yang lebih besar. (IEA)

Penyimpanan 📦

Data pelatihan, embedding, log, checkpoint, output yang dihasilkan - semuanya tersimpan di suatu tempat. Penyimpanan memang lebih murah daripada komputasi, tetapi tidak gratis dalam hal energi. (IEA)

Inilah mengapa pertanyaan " Berapa banyak energi yang digunakan AI?" tidak dapat dijawab dengan baik hanya dengan melihat satu grafik benchmark. Seluruh tumpukan teknologi (full stack) sangat penting. (Google Cloud, IEA)

Mengapa satu perintah AI bisa sangat kecil - dan perintah berikutnya bisa menjadi sangat besar 📝➡️🎬

Tidak semua permintaan memiliki bobot yang sama. Permintaan singkat untuk penulisan ulang kalimat tidak dapat dibandingkan dengan permintaan analisis panjang, sesi pengkodean multi-langkah, atau pembuatan gambar beresolusi tinggi. (Google Cloud)

Hal-hal yang cenderung meningkatkan penggunaan energi per interaksi:

• Jendela konteks yang lebih panjang

• Jawaban yang lebih panjang

• Langkah-langkah penggunaan dan pengambilan alat

• Beberapa tahapan untuk penalaran atau validasi

• Pembuatan gambar, audio, atau video

• Konkurensi yang lebih tinggi

• Target latensi yang lebih rendah (Google Cloud, Strategi Kuantisasi, Pengelompokan, dan Penyajian dalam Penggunaan Energi LLM)

Jawaban teks yang ringan mungkin relatif murah. Alur kerja multimodal yang besar bisa jadi, yah, tidak murah. Ini sedikit seperti memesan kopi versus menyediakan katering untuk pesta pernikahan. Secara teknis, keduanya termasuk "layanan makanan". Yang satu tidak sama dengan yang lain ☕🎉

Hal ini sangat penting bagi tim produk. Fitur yang tampak tidak berbahaya pada penggunaan rendah dapat menjadi mahal pada skala besar jika setiap sesi pengguna menjadi lebih lama, lebih kaya, dan lebih berat dalam hal komputasi. (DOE, Google Cloud)

AI untuk konsumen dan AI untuk perusahaan bukanlah hal yang sama 🏢📱

Orang awam yang menggunakan AI secara santai mungkin mengira bahwa perintah sesekali yang diberikan AI adalah masalah utamanya. Biasanya, bukan di situ letak inti permasalahan energi yang sesungguhnya. (Google Cloud)

Penggunaan di lingkungan perusahaan mengubah perhitungannya:

• ribuan karyawan

• kopilot yang selalu siaga

• pemrosesan dokumen otomatis

• ringkasan panggilan

• analisis gambar

• alat tinjauan kode

• agen latar belakang berjalan terus-menerus

Di situlah penggunaan energi secara keseluruhan mulai menjadi sangat penting. Bukan karena setiap tindakan bersifat apokaliptik, tetapi karena pengulangan adalah faktor pengali. (DOE, IEA)

Dalam pengujian dan tinjauan alur kerja saya sendiri, di sinilah orang-orang terkejut. Mereka fokus pada nama model, atau demo yang menarik, dan mengabaikan volume. Volume seringkali menjadi pendorong sebenarnya - atau penyelamat, tergantung apakah Anda menagih pelanggan atau membayar tagihan utilitas 😅

Bagi konsumen, dampaknya mungkin terasa abstrak. Bagi bisnis, dampaknya menjadi nyata dengan sangat cepat:

• tagihan infrastruktur yang lebih besar

• tekanan lebih besar untuk mengoptimalkan

• kebutuhan yang lebih kuat akan model yang lebih kecil jika memungkinkan

• pelaporan keberlanjutan internal

• lebih memperhatikan caching dan routing (Google Cloud, Green AI)

Bagaimana mengurangi penggunaan energi AI tanpa harus meninggalkan AI 🌱

Bagian ini penting karena tujuannya bukanlah "berhenti menggunakan AI." Biasanya itu tidak realistis, dan bahkan tidak perlu. Pemanfaatan yang lebih baik adalah jalan yang lebih cerdas.

Berikut adalah pengungkit-pengungkit terbesar:

1. Gunakan model terkecil yang dapat menyelesaikan pekerjaan

Tidak setiap tugas membutuhkan opsi yang berat. Model yang lebih ringan untuk klasifikasi atau peringkasan dapat mengurangi pemborosan dengan cepat. (Green AI, Google Cloud)

2. Mempersingkat perintah dan output

Input yang bertele-tele, output yang bertele-tele. Token tambahan berarti komputasi tambahan. Terkadang memangkas perintah adalah solusi termudah. ​​(Strategi Kuantisasi, Pengelompokan, dan Penyajian dalam Penggunaan Energi LLM, Google Cloud)

3. Simpan hasil yang berulang dalam cache

Jika kueri yang sama terus muncul, jangan membuatnya ulang setiap saat. Ini hampir sangat jelas, namun sering terlewatkan. (Google Cloud)

4. Lakukan pekerjaan batch bila memungkinkan

Menjalankan tugas secara berkelompok dapat meningkatkan pemanfaatan dan mengurangi pemborosan. (Strategi Kuantisasi, Pengelompokan, dan Penyajian dalam Penggunaan Energi LLM)

5. Mengarahkan tugas secara cerdas

Gunakan model besar hanya ketika tingkat kepercayaan menurun atau kompleksitas tugas meningkat. (Green AI, Google Cloud)

6. Optimalkan infrastruktur

Penjadwalan yang lebih baik, perangkat keras yang lebih baik, strategi pendinginan yang lebih baik - hal-hal sederhana, imbalan yang sangat besar. (Google Cloud, DOE)

7. Ukur dulu sebelum berasumsi

Banyak tim mengira mereka tahu ke mana daya listrik mengalir. Kemudian mereka mengukur, dan ternyata bagian yang mahal berada di tempat lain. (Google Cloud)

Upaya peningkatan efisiensi bukanlah hal yang glamor. Jarang mendapat tepuk tangan. Namun, ini adalah salah satu cara terbaik untuk membuat AI lebih terjangkau dan lebih mudah dipertahankan dalam skala besar 👍

Mitos umum tentang penggunaan listrik oleh AI 🚫

Mari kita singkirkan beberapa mitos karena topik ini bisa menjadi sangat rumit.

Mitos 1 - Setiap permintaan AI sangat boros

Tidak selalu. Beberapa di antaranya sederhana. Skala dan jenis tugas sangat berpengaruh. (Google Cloud)

Mitos 2 - Pelatihan adalah satu-satunya hal yang penting

Tidak. Inferensi dapat mendominasi seiring waktu ketika penggunaannya sangat besar. (Google Research, DOE)

Mitos 3 - Model yang lebih besar selalu berarti hasil yang lebih baik

Terkadang ya, terkadang sama sekali tidak. Banyak tugas yang berjalan dengan baik menggunakan sistem yang lebih kecil. (Green AI)

Mitos 4 - Penggunaan energi secara otomatis sama dengan dampak karbon

Tidak sepenuhnya benar. Kandungan karbon juga bergantung pada sumber energi. (IEA, Strubell dkk.)

Mitos 5 - Anda bisa mendapatkan satu angka universal untuk penggunaan energi AI

Anda tidak bisa, setidaknya tidak dalam bentuk yang tetap bermakna. Atau Anda bisa, tetapi hasilnya akan sangat rata-rata sehingga kehilangan nilainya. (IEA)

Inilah mengapa mengajukan pertanyaan " Berapa banyak energi yang digunakan AI?" adalah pertanyaan yang cerdas - tetapi hanya jika Anda siap menerima jawaban yang berlapis, bukan sekadar slogan.

Jadi... seberapa banyak energi yang sebenarnya digunakan AI? 🤔

Berikut kesimpulan yang berdasar.

Kegunaan AI:

• sedikit, untuk beberapa tugas sederhana

• jauh lebih banyak, untuk generasi multimodal yang berat.

• jumlah yang sangat besar, untuk pelatihan model skala besar

• Jumlah total yang sangat besar, ketika jutaan permintaan menumpuk seiring waktu (Google Cloud, DOE)

Begitulah bentuknya.

Yang terpenting bukanlah mereduksi seluruh masalah menjadi satu angka yang menakutkan atau satu sikap acuh tak acuh. Penggunaan energi oleh AI itu nyata. Itu penting. Itu bisa diperbaiki. Dan cara terbaik untuk membicarakannya adalah dengan konteks, bukan dengan dramatisasi. (IEA, Green AI)

Banyak percakapan publik berayun antara dua ekstrem - "AI pada dasarnya gratis" di satu sisi, "AI adalah kiamat listrik" di sisi lain. Realitasnya lebih biasa, yang membuatnya lebih informatif. Ini adalah masalah sistem. Perangkat keras, perangkat lunak, penggunaan, skala, pendinginan, pilihan desain. Biasa saja? Sedikit. Penting? Sangat penting. (IEA, Google Cloud)

Poin-poin penting ⚡🧾

Jika Anda datang ke sini dengan pertanyaan, Berapa banyak energi yang digunakan AI?,berikut kesimpulannya:

• Tidak ada angka yang berlaku untuk semua situasi

• Latihan biasanya menghabiskan energi paling banyak di awal

• Inferensi menjadi faktor utama dalam skala besar

• Ukuran model, perangkat keras, beban kerja, dan pendinginan semuanya penting

• Optimalisasi kecil dapat membuat perbedaan yang sangat besar

• Pertanyaan paling cerdas bukanlah hanya “berapa banyak,” tetapi juga “untuk tugas apa, pada sistem apa, dan pada skala berapa?” ​​(IEA, Google Cloud)

Jadi ya, AI menggunakan energi nyata. Cukup untuk menarik perhatian. Cukup untuk membenarkan rekayasa yang lebih baik. Tetapi bukan dalam cara yang dangkal dan hanya berupa satu angka.

Contoh di dunia nyata: Mengukur biaya energi dari asisten pendukung berbasis AI

Skenario

Bayangkan sebuah perusahaan SaaS kecil menggunakan asisten AI untuk menyusun balasan atas tiket dukungan pelanggan. Ini adalah contoh fiktif namun realistis, bukan studi kasus perusahaan.

Tim tersebut menangani sekitar 500 tiket dukungan setiap minggu. Sebagian besar cukup mudah: pengaturan ulang kata sandi, pertanyaan penagihan, penjelasan fitur, dan pemecahan masalah dasar. Perusahaan tidak ingin asisten mengirimkan balasan secara otomatis. Mereka membuat draf jawaban untuk ditinjau oleh agen dukungan manusia.

Pertanyaan tentang energi bukanlah, “Seberapa banyak energi yang digunakan AI secara umum?” Melainkan lebih praktis:

“Seberapa banyak daya komputasi tambahan yang kita hasilkan dengan menambahkan AI ke dalam alur kerja ini, dan dapatkah kita menguranginya tanpa mengurangi kualitas?”

Apa yang dibutuhkan asisten

Tim akan memulai dengan:

Basis pengetahuan pusat bantuan yang bersih

Daftar aturan pengembalian dana, privasi, dan eskalasi yang telah disetujui

20-30 contoh tanggapan dukungan kuat di masa lalu

Instruksi yang jelas bahwa asisten harus membuat draf, bukan mengirimkannya

Log penggunaan cloud atau log penggunaan API model

Sebuah spreadsheet sederhana untuk melacak jenis tiket, panjang permintaan, panjang output, waktu peninjauan, dan apakah jawaban diterima

Yang terpenting adalah pengukuran. Tanpa catatan, tim hanya bisa menebak-nebak.

Contoh instruksi

Anda adalah asisten penyusun dukungan untuk produk SaaS. Gunakan hanya konten pusat bantuan dan catatan kebijakan yang telah disetujui. Susun balasan yang jelas dan sopan dalam kurang dari 180 kata. Jika pelanggan meminta pengembalian dana, penghapusan akun, nasihat hukum, detail keamanan, atau hal lain yang tidak tercakup dalam dokumen, jangan menjawab secara langsung. Tandai untuk ditinjau oleh manusia dan jelaskan informasi apa yang kurang.

Sebelum menulis balasan, klasifikasikan tiket tersebut sebagai: sederhana, sensitif terhadap kebijakan, teknis, atau memerlukan eskalasi.

Bagaimana cara mengujinya?

Tim dapat menguji asisten tersebut pada 50 tiket sebelumnya sebelum menggunakannya secara langsung.

Satu set pengujian sederhana mungkin mencakup:

10 tiket kata sandi atau login

10 tiket tagihan

10 tiket pemecahan masalah teknis

10 pesan pelanggan yang samar atau tidak lengkap

10 tiket yang berkaitan dengan kebijakan sensitif terkait pengembalian dana, privasi, atau penutupan akun

Untuk setiap tiket, tim harus mencatat:

Apakah draf tersebut akurat secara faktual?

Apakah hanya menggunakan informasi yang telah disetujui?

Apakah jumlah katanya masih sesuai batas?

Apakah sistem tersebut menandai kasus-kasus sensitif dengan benar?

Berapa lama waktu yang dihabiskan agen manusia untuk mengeditnya?

Berapa banyak token atau permintaan yang digunakan oleh alur kerja tersebut?

Hal ini memberi tim sesuatu yang konkret untuk dibandingkan, alih-alih hanya mengandalkan firasat.

Hasil

Hasil ilustratif: Berdasarkan pengukuran waktu pada 50 tiket sampel sebelum dan sesudah menggunakan alur kerja, tim memperkirakan bahwa waktu rata-rata pembuatan draf pertama turun dari 6 menit per tiket menjadi 2 menit per tiket.

Untuk 500 tiket per minggu, itu menghemat sekitar 2.000 menit, atau kira-kira 33 jam waktu penyusunan draf.

Namun, log tersebut juga menunjukkan sesuatu yang berharga: 38% dari tiket adalah pengulangan sederhana. Dengan menyimpan jawaban yang disetujui untuk pertanyaan yang berulang ini alih-alih membuat ulang setiap draf dari awal, tim mengurangi permintaan AI dari 500 per minggu menjadi 310 per minggu.

Itu berarti pengurangan sebesar 38% dalam panggilan inferensi mingguan untuk alur kerja ini, tanpa menghilangkan fitur AI.

Tim dapat memverifikasi hal ini dengan membandingkan:

Jumlah total permintaan AI mingguan sebelum dan sesudah caching

Panjang rata-rata perintah dan output

Tingkat penerimaan manusia

Jumlah eskalasi yang berhasil ditangani dengan benar

Mendukung skor kualitas atau jumlah revisi

Penghematan listrik yang tepat masih bergantung pada model, perangkat keras, penyedia, dan infrastruktur. Namun, pengurangan beban kerja itu sendiri dapat diukur.

Apa yang bisa salah?

Asisten mungkin memberikan jawaban yang berlebihan terkait pertanyaan kebijakan jika aturan eskalasi tidak jelas.

Dokumen pusat bantuan yang panjang dapat memperpanjang durasi permintaan jika pengaturan pencarian tidak terstruktur dengan baik.

Agen mungkin terlalu cepat mempercayai draf yang lancar dan melewatkan kesalahan-kesalahan kecil.

Caching dapat menjadi berisiko jika kebijakan pengembalian dana, penetapan harga, atau privasi lama masih beredar.

Tim tersebut mungkin melakukan optimasi untuk mengurangi jumlah token, namun secara tidak sengaja menghasilkan balasan yang kurang bermanfaat.

Versi yang paling aman tetap melibatkan manusia, mengukur jawaban yang diterima, dan meninjau respons yang tersimpan dalam cache setiap kali kebijakan berubah.

Kesimpulan praktis

Estimasi energi AI yang akurat dimulai dengan alur kerja yang konkret. Hitung permintaan, perpendek perintah, simpan jawaban yang berulang dalam cache, dan ukur kualitas peninjauan. Hal itu mengubah pertanyaan "Berapa banyak energi yang digunakan AI?" dari perdebatan yang samar menjadi pertanyaan teknik praktis dengan angka-angka yang dapat ditingkatkan oleh tim dalam praktiknya.

Pertanyaan yang Sering Diajukan (FAQ)

Berapa banyak energi yang digunakan AI untuk satu perintah?

Tidak ada angka pasti untuk satu perintah, karena penggunaan energi bergantung pada model, perangkat keras, panjang perintah, panjang output, dan penggunaan alat tambahan apa pun yang terlibat. Respons teks singkat dapat relatif hemat, sementara tugas multimodal yang panjang dapat mengonsumsi energi jauh lebih banyak. Jawaban yang paling bermakna bukanlah angka tunggal, tetapi konteks yang mengelilingi tugas tersebut.

Mengapa perkiraan penggunaan daya AI sangat bervariasi?

Perkiraan bervariasi karena orang sering membandingkan hal-hal yang sangat berbeda di bawah label tunggal AI. Satu perkiraan mungkin menggambarkan balasan chatbot ringan, sementara perkiraan lain mungkin mencakup pembuatan gambar, video, atau pelatihan model skala besar. Agar perkiraan tersebut bermakna, diperlukan konteks seperti jenis tugas, ukuran model, perangkat keras, pemanfaatan, pendinginan, dan lokasi.

Apakah melatih AI atau menjalankan AI sehari-hari yang membutuhkan biaya energi lebih besar?

Pelatihan biasanya merupakan kegiatan yang membutuhkan energi besar di awal, karena dapat melibatkan banyak chip yang berjalan dalam jangka waktu lama pada kumpulan data yang sangat besar. Inferensi adalah biaya berkelanjutan yang muncul setiap kali pengguna mengirimkan permintaan, dan pada skala besar biaya ini juga dapat menjadi sangat besar. Dalam praktiknya, keduanya penting, meskipun penting dengan cara yang berbeda.

Apa yang membuat satu permintaan AI jauh lebih boros energi daripada permintaan AI lainnya?

Jendela konteks yang lebih panjang, keluaran yang lebih panjang, pengulangan proses penalaran, panggilan alat, langkah pengambilan, dan generasi multimodal cenderung meningkatkan penggunaan energi per interaksi. Target latensi juga penting, karena persyaratan respons yang lebih cepat dapat mengurangi efisiensi. Permintaan penulisan ulang yang kecil dan alur kerja pengkodean atau pengolahan gambar yang panjang sama sekali tidak dapat dibandingkan.

Biaya energi tersembunyi apa yang terlewatkan oleh orang-orang ketika bertanya berapa banyak energi yang digunakan oleh AI?

Banyak orang hanya fokus pada chip, tetapi hal itu mengabaikan pendinginan, perpindahan data, penyimpanan, kapasitas idle, dan sistem keandalan seperti cadangan atau wilayah failover. Lapisan pendukung ini dapat secara signifikan mengubah total ukuran. Itulah mengapa benchmark saja jarang menangkap gambaran energi secara keseluruhan.

Apakah model AI yang lebih besar selalu menggunakan lebih banyak energi?

Model yang lebih besar biasanya membutuhkan lebih banyak daya komputasi dan memori, terutama untuk output yang panjang atau kompleks, sehingga seringkali mengonsumsi lebih banyak energi. Namun, ukuran yang lebih besar tidak selalu berarti lebih baik untuk setiap pekerjaan, dan optimasi dapat mengubah gambaran tersebut secara signifikan. Model spesialis yang lebih kecil, kuantisasi, pengelompokan (batching), caching, dan perutean yang lebih cerdas semuanya dapat meningkatkan efisiensi.

Apakah penggunaan AI oleh konsumen merupakan masalah energi utama, ataukah AI untuk perusahaan merupakan masalah yang lebih besar?

Penggunaan konsumen biasa dapat menumpuk, tetapi kisah energi yang lebih besar sering muncul dalam penerapan perusahaan. Asisten virtual yang selalu aktif, pemrosesan dokumen, ringkasan panggilan, tinjauan kode, dan agen latar belakang menciptakan permintaan berulang di berbagai basis pengguna yang besar. Masalahnya biasanya bukan tentang satu tindakan dramatis, tetapi lebih tentang volume yang berkelanjutan dari waktu ke waktu.

Berapa banyak energi yang digunakan AI jika termasuk pusat data dan pendinginan?

Setelah sistem yang lebih luas disertakan, jawabannya menjadi lebih realistis dan biasanya lebih besar daripada perkiraan yang hanya berdasarkan chip. Pusat data membutuhkan daya tidak hanya untuk komputasi, tetapi juga untuk pendinginan, jaringan, penyimpanan, dan mempertahankan kapasitas cadangan. Itulah mengapa desain infrastruktur dan efisiensi fasilitas hampir sama pentingnya dengan desain model.

Apa cara paling praktis untuk mengukur penggunaan energi AI dalam alur kerja nyata?

Metode terbaik bergantung pada siapa yang melakukan pengukuran dan untuk tujuan apa. Aturan praktis kasar dapat membantu perbandingan cepat, sementara watt meter, telemetri GPU, log penagihan cloud, dan pelaporan pusat data memberikan wawasan operasional yang semakin kuat. Untuk pekerjaan keberlanjutan yang serius, pandangan siklus hidup yang lebih lengkap bahkan lebih kuat, meskipun lebih lambat dan lebih menuntut.

Bagaimana tim dapat mengurangi penggunaan energi AI tanpa mengorbankan fitur-fitur AI yang bermanfaat?

Keuntungan terbesar biasanya berasal dari penggunaan model terkecil yang masih mampu menjalankan tugas, mempersingkat perintah dan output, menyimpan hasil yang berulang dalam cache, mengelompokkan pekerjaan, dan hanya mengarahkan tugas yang lebih sulit ke model yang lebih besar. Optimalisasi infrastruktur juga penting, terutama penjadwalan dan efisiensi perangkat keras. Dalam banyak alur kerja, pengukuran terlebih dahulu membantu mencegah tim mengoptimalkan hal yang salah.

Referensi

1. Badan Energi Internasional (IEA) - Permintaan energi dari AI - iea.org

2. Departemen Energi AS (DOE) - DOE merilis laporan baru yang mengevaluasi peningkatan permintaan listrik akibat pusat data - energy.gov

3. Google Cloud - Mengukur dampak lingkungan dari inferensi AI - cloud.google.com

4. Google Research - Kabar baik tentang jejak karbon pelatihan pembelajaran mesin - research.google

5. Riset Google - Jejak karbon pelatihan pembelajaran mesin akan stabil dan kemudian berkurang - research.google

6. arXiv - AI Hijau - arxiv.org

7. arXiv - Strubell dkk. - arxiv.org

8. arXiv - Strategi Kuantisasi, Pengelompokan, dan Penyajian dalam Penggunaan Energi LLM - arxiv.org

Temukan AI Terbaru di Toko Resmi Asisten AI

Tentang Kami