Apa itu Pusat Data AI? [Video dan Kuis]

Jawaban singkat: Pusat data AI adalah dengan kepadatan tinggi di mana daya, pendinginan, infrastruktur, dan penyimpanan difokuskan pada pelatihan dan penyajian model, bukan ruang server dengan GPU tambahan. Chip mendapatkan popularitas; bangunanlah yang menentukan apakah chip tersebut berfungsi. Jika citra tidak dapat keluar, pasang sel kecil; sebagian besar tim sebaiknya menyewa.

Poin-poin penting:

Chip versus pembangunan: Daya, pendinginan, fabrikasi, dan penyimpanan menentukan apakah akselerator tersebut berfungsi.

Bukan istana, melainkan tempat: Pasang dua rak tambahan jika data tidak dapat dipindahkan; jangan membeli seluruh kampus.

Rata-rata vs median: Pada delapan kali percobaan, median akan kembali ke titik awal; gunakan rata-rata 18 jam.

Ketahanan terhadap penyalahgunaan: Jangan mencantumkan PUE untuk dua rak di aula campuran.

Hasil ilustratif: Delapan kali putaran menghasilkan peta kecil, bukan penghematan produksi sebesar 50%.

Artikel-artikel yang mungkin ingin Anda baca setelah ini:

🔗 Apakah AI dapat diandalkan? Video dan kuis
Jelajahi keandalan AI melalui video yang menarik dan kuis interaktif.

🔗 Cara menggunakan AI dalam kehidupan sehari-hari
Temukan cara praktis bagaimana AI dapat menyederhanakan tugas dan rutinitas sehari-hari.

🔗 Cara menggunakan AI di tempat kerja
Pelajari cara-cara praktis menggunakan AI untuk produktivitas tempat kerja yang lebih cerdas.

🔗 Bisakah AI berpikir sendiri?
Pahami apakah kecerdasan buatan benar-benar dapat berpikir secara mandiri atau bernalar.

Bagaimana perbedaannya dengan pusat data "normal"?

Aula tradisional dioptimalkan untuk beban kerja campuran dan waktu aktif di banyak layanan kecil. Anda tentu peduli dengan redundansi, dan tentang PUE sebagai sebuah konsep - energi ekstra yang dibakar bangunan untuk menghasilkan satu watt daya komputasi. Namun, Anda biasanya tidak merancang setiap koridor di sekitar rak yang berperilaku seperti alat pemanas portabel.

Situs AI membalikkan rasio. Kepadatan meningkat. Jaringan menjadi jalinan yang tanpanya pekerjaan pelatihan tidak dapat berjalan dengan lancar. Penyimpanan harus menjaga agar titik pemeriksaan terus bergerak, atau akselerator akan menganggur, seperti kuda pacu di tengah kemacetan lalu lintas.

Ada perbedaan budaya juga. Operasi perusahaan berpikir dalam tiket dan jendela perubahan. Operasi AI berpikir dalam antrian pekerjaan dan perasaan tidak nyaman ketika sebuah node mati di tahap akhir dalam jangka panjang. Saya rasa Anda masih bisa menyebut keduanya "pusat data" karena memang demikian adanya. Label tersebut hanya menyembunyikan infrastruktur internalnya.

Ini bukan peringkat moral. Mesin berbeda, nama keluarga yang sama.

GPU, akselerator, dan rak yang boros daya

Berjalanlah di lantai rak tradisional dan rak-rak itu tampak hampir sopan. Berjalanlah di deretan rak AI dan rak-rak itu tampak seolah ingin menelan seluruh bangunan.

Perangkat keras yang menonjol bukanlah CPU yang canggih. Melainkan baki akselerator: GPU atau chip AI lainnya, yang dikemas ke dalam server, kemudian rak, lalu baris yang berbagi jaringan bandwidth tinggi. Interkoneksi GPU menyatukan chip menjadi sesuatu yang dapat berpura-pura menjadi satu akselerator raksasa; jaringan kluster melakukan trik yang sama pada skala baris. Pelatihan paralel hanya berfungsi jika tautan tersebut tetap besar dan dapat diprediksi. Jika itu hilang, "kluster" Anda hanyalah tumpukan workstation mahal yang berbagi kode pos.

Daya mengikuti chip. Bukan PDU kantor yang besar. Beban TI mencapai megawatt begitu sebuah ruangan penuh – saya tidak akan mengarang angka. Kepadatan per rak adalah kuncinya. Lebih sedikit rak. Masing-masing rak seperti tungku kecil. Faktor pembatasnya seringkali adalah gardu induk, bukan daftar keinginan GPU. Anda tahu bagaimana keadaannya: bagian pengadaan menginginkan lebih banyak akselerator; pihak penyedia listrik menginginkan percakapan panjang dan cek yang sangat besar.

Satu metafora yang agak konyol yang tak bisa saya hilangkan: rak adalah hewan yang lapar. Anda bisa membiakkan yang lebih cepat. Anda tetap harus memberinya makan, dan Anda tetap harus membersihkan kandangnya. Jika salah satu dari itu diabaikan, maka rak itu akan menjadi pemberat kertas yang sangat mahal.

Daya, panas, dan masalah pendinginan

Listrik masuk. Panas keluar. Itulah inti dari agama ini.

Rak dengan kepadatan tinggi membuang panas dengan cara yang tidak pernah benar-benar mampu ditangani oleh udara. Anda dapat mendorong udara lebih keras - penukar panas pintu belakang, lorong yang lebih panas, penahanan yang cerdas - dan itu berhasil sampai batas tertentu. Kemudian cairan muncul:

• Pendinginan langsung ke chip

• Sistem pendingin yang membuat ruang mesin terlihat seperti pabrik kimia

• Terintegrasi dalam beberapa desain, yang masih mengejutkan orang-orang yang berpikir bahwa air dan server seharusnya tidak sependapat

Semua ini tidaklah glamor. Semua ini adalah produk, karena pedal gas yang membatasi kecepatan adalah pedal gas yang sudah Anda bayar dan tidak dapat Anda gunakan sepenuhnya.

PUE (Power Usage Effectiveness) masih penting. Ini adalah rasio, bukan kepribadian. Operator mengejarnya karena setiap watt yang dihabiskan untuk kipas dan pompa adalah watt yang tidak digunakan untuk GPU. Saya tidak akan menyebutkan angka "tipikal"; iklim dan bagaimana Anda menentukan batasannya akan memengaruhinya, dan ketelitian palsu lebih buruk daripada tidak ada sama sekali. Air juga berperan dalam hal ini. Beberapa tanaman hanya minum sedikit. Beberapa minum banyak. Pendinginan evaporatif efisien sampai sungai atau kekeringan membuatnya menjadi masalah politik.

Jaringan: mengapa infrastruktur sama pentingnya dengan chip

Orang-orang memotret GPU. Seharusnya mereka memotret switch-nya.

Pelatihan adalah sebuah percakapan. Ribuan akselerator bertukar gradien, parameter, dan bagian-bagian model, dalam sinkronisasi yang ketat. Jika jaringan mengalami gangguan, seluruh pekerjaan akan menunggu pada hop yang paling lambat. Itulah mengapa pusat-pusat AI terobsesi dengan jaringan berbandwidth tinggi, latensi rendah, dan topologi yang tidak akan runtuh ketika sebuah tautan gagal. Jaringan seperti InfiniBand, Ethernet dengan peran yang sama, interkoneksi GPU di dalam kotak, dan pengkabelan yang harus tepat sejak pertama kali.

Inferensi adalah percakapan yang berbeda. Penyajian model memperhatikan latensi ekor - respons yang lambat, bukan respons rata-rata. Pemrosesan batch vs. real-time memisahkan kedua hal tersebut. Klaster pelatihan menginginkan pergerakan yang besar, kolektif, dan hampir menyeluruh. Armada penyajian menginginkan banyak permintaan kecil dan isolasi, tanpa kemacetan lalu lintas di penyeimbang beban.

Yang perlu saya sampaikan, selagi saya di sini: orang-orang memperlakukan jaringan sebagai saluran air dan keripik kentang sebagai restoran. Di gedung ini, saluran airnya adalah restorannya. Jika Anda melewatkan hal itu, Anda akan membeli dapur yang tidak dapat menerima pengiriman makanan.

Pelatihan vs inferensi: dua bangunan, terkadang secara harfiah

Pelatihan adalah sebuah kampanye. Anda merakit sebuah klaster, memberinya data, melakukan checkpoint secara rutin, menjalankannya selama berjam-jam atau berminggu-minggu, dan berdoa agar sistem tetap berjalan tanpa masalah. Prosesnya berat dalam batch, membutuhkan bandwidth besar, dan membutuhkan kesabaran yang tinggi - hingga sebuah node yang gagal mengganggu jalannya proses. Satu akselerator yang mati dalam pekerjaan yang saling terkait erat dapat menghentikan seluruh proses.

Inferensi itu seperti etalase toko. Model yang sudah dilatih, kini menjawab pertanyaan, mengklasifikasikan gambar, menghasilkan teks. Latensi itu penting. Akselerator yang sedikit lebih tua di dekat pelanggan dapat mengalahkan akselerator canggih yang berada di benua lain.

Jadi, terjadilah pemisahan. Kampus pelatihan mengejar kekuatan, lahan, dan kepadatan. Situs inferensi mengejar latensi dan kehadiran. Aula hibrida juga ada, karena modal tidak tak terbatas. Yah - tidak selalu dua bangunan. Terkadang satu aula dengan tali pembatas beludru dan dua jalur pendingin.

Di sinilah juga letak percabangan antara kolokasi, kampus hiperskala, dan on-premise. Penyedia hiperskala membangun pada skala yang membuat kita yang lain terlihat seperti sedang menata furnitur. Kolokasi menjual kepadatan per rak. On-premise masih terjadi ketika data tidak dapat dipindahkan.

Kapasitas penyimpanan, titik pemeriksaan, dan chip yang rakus.

Tidak ada yang menempatkan sistem file paralel di sampul brosur.

Data pelatihan harus tiba cukup cepat agar GPU tidak menunggu lama. Checkpoint harus berhasil agar jika terjadi crash, data tidak hilang selama seminggu. Bobot model harus dimuat sebelum replika server aktif. Throughput penyimpanan—bukan hanya kapasitas—adalah hambatan tersembunyi. Anda bisa menghabiskan banyak uang untuk akselerator dan kemudian membatasinya dengan susunan penyimpanan yang dirancang untuk mesin virtual.

Polanya sudah familiar: sebuah cluster yang mengkilap, antrian pekerjaan, dan penundaan I/O yang menatap balik seperti tagihan yang tidak sopan. Mengkluster komputasi tanpa mengkluster jalur data adalah cara Anda mendapatkan waktu idle yang sangat mahal. Pastikan chip terus diberi daya atau akui Anda telah membeli sebuah patung.

Perangkat lunak, orkestrasi, dan lapisan operasional yang kurang glamor

Perangkat keras adalah selebritinya. Penjadwal yang melakukan pekerjaannya.

Pusat data AI tidak berguna jika pekerjaan tidak dapat menemukan GPU, jika dua tim tidak dapat berbagi kluster tanpa perkelahian, jika anggota tim yang gagal tidak dapat diganti, jika firmware terus berubah hingga jaringan gagal secara perlahan. Orkestrasi, observabilitas, pembatasan daya - lapisan operasional yang tidak glamor, yang merupakan cara Anda mengetahui bahwa hal itu penting.

Saya punya ketertarikan khusus pada lapisan ini. Apalagi jika NIC yang salah konfigurasi menyamar sebagai masalah pendinginan sepanjang siang hari... Anda akan mengetahuinya dengan cara yang sulit.

Ketika sebuah node mati di tengah proses berjalan

Sebuah node mati. Jendela perubahan masih bertabrakan dengan proses pelatihan yang tidak peduli dengan kalender Anda. Anda menjadwalkan pekerjaan besar secara berkelompok, membatasi kumpulan inferensi, menulis buku panduan untuk kegagalan yang tampak seperti "pekerjaan berjalan lambat" hingga tampak seperti "pekerjaan mati total." Redundansi masih penting - daya, pendinginan, jalur, penyimpanan - tetapi mode kegagalannya kurang rapi daripada slide "sembilan detik waktu aktif" yang lama. Inferensi: replikasi, matikan node yang sakit, terus berikan respons. Pelatihan membutuhkan titik pemeriksaan, bukan optimisme.

Lokasi, air, jaringan listrik, dan tetangga

Anda tidak menjatuhkan salah satu benda ini di dekat sebuah pondok hanya untuk menikmati pemandangan.

Koneksi jaringan listrik seringkali menjadi proses pemilihan lokasi yang sebenarnya. Lahan lebih mudah didapatkan dibandingkan gardu induk dan utilitas yang memiliki pelanggan lain. Air untuk pendinginan, jika Anda menggunakannya, menjadi masalah tetangga begitu hujan turun deras. Kebisingan. Bangunan yang besar secara visual. Panas di pagar pembatas. Komite perencanaan menemukan pendapat tentang "awan" begitu mereka membutuhkan lahan dan sungai.

Latensi menarik ke arah yang berlawanan. Inferensi lebih menyukai berada dekat dengan pengguna dan interkoneksi. Pelatihan dapat bersembunyi di pasar listrik yang lebih murah dan iklim yang lebih dingin. Industri berbicara seolah-olah ada satu lokasi yang sempurna. Padahal tidak. Yang ada hanyalah kompromi melalui siaran pers.

Panas yang tersisa dan tungku yang tak diundang

Brosur sangat menyukai bagian ini. Salurkan panas limbah ke rumah-rumah, kolam renang, rumah kaca; itu kalimat yang indah. Terkadang jalur sirkulasi distrik itu benar-benar berfungsi. Terkadang kampus berada di tempat yang salah dan panas tetap terbuang ke udara. Saya skeptis terhadap versi brosur; saya tidak skeptis terhadap fisika di baliknya.

Siapa yang membutuhkannya (dan siapa yang sebaiknya menyewa)?

Sebagian besar orang tidak perlu memiliki salah satu aula ini.

Daftar singkatnya:

• Perusahaan hyperscaler, karena produknya adalah armada

• Di laboratorium, ketika waktu antrian menjadi hambatan, atau data tidak dapat keluar

• Bank, kelompok rumah sakit, pemerintah, atau produsen dengan kumpulan data rahasia - baik di lokasi sendiri atau di pusat data pribadi - dapat bersikap rasional, meskipun itu merepotkan

Semua orang lain sebaiknya menyewa. Kolokasi dengan kepadatan siap AI. Reservasi cloud. Klaster terkelola. Anda mendapatkan akselerator tanpa harus menjadi operator pembangkit listrik. Romantisme itu memudar saat pertama kali seseorang bertanya siapa yang siaga untuk sirkuit pendingin pada pukul 3 pagi.

Saya akui, ada unsur kebanggaan di sini. Memiliki cluster ini terasa seperti memiliki alat prediksi. Kemudian tagihan listrik datang, dan kebanggaan itu pun sirna.

Untuk apa bangunan itu dibangun?

Jadi, apa itu Pusat Data AI? Sebuah kampus khusus dengan kepadatan tinggi di mana akselerator, daya, pendinginan, infrastruktur, dan penyimpanan diatur untuk melatih dan menyajikan model - bukan IT serbaguna dengan GPU di sudut ruangan. Bentuknya seperti gudang. Fungsinya seperti pembangkit listrik yang melakukan perhitungan matematika.

Jika Anda tidak mengingat hal lain: chip-chip itu mendapatkan ketenaran; gardu induk, pendingin, dan jaringanlah yang menentukan apakah chip-chip itu merupakan ide yang bagus. Pelatihan dan inferensi dapat berbagi atap; namun keduanya tetap membutuhkan tata krama yang berbeda. Sebagian besar organisasi sebaiknya menyewa. Beberapa sebaiknya membangun. Tetangga akan memperhatikan apa pun caranya.

Awan selalu memiliki bangunan. Kini, bangunan itu memiliki opini.

Contoh nyata: Sel pelatihan dua rak ketika gambar tidak dapat keluar

Skenario

Tomos adalah kepala infrastruktur di Kestrel Precision, sebuah perusahaan manufaktur dengan 400 karyawan di West Midlands. Mereka sudah memiliki ruang server kecil di lokasi: ERP, berbagi file, mesin virtual, lingkungan campuran yang menjadi awal artikel ini. Pendingin udara. Ethernet biasa. SAN yang sangat memadai untuk disk kantor.

Tim visi mesin perlu melatih model inspeksi pada gambar diam pabrik. Gambar diam tersebut tidak boleh meninggalkan lokasi. Gambar-gambar itu menunjukkan proses yang tidak akan diunggah perusahaan ke disk cloud, bahkan yang privat sekalipun. Solusi dari bagian pengadaan adalah empat server akselerator ganda dan sebuah slide berjudul "pusat data AI kami". Server-server tersebut ditempatkan di dua rak yang sudah ada, karena ada ruang, dan ruang terasa seperti kendala.

Tidak. Dalam waktu dua minggu, GPU terdengar sibuk lalu melambat dengan tenang. Pekerjaan berjalan sangat lambat ketika titik pemeriksaan mencapai SAN. Sebuah node mati pada jam kesebelas dan proses pun... berakhir. Tomos bukannya gagal membeli chip. Dia membeli sejumlah besar workstation mahal yang berada di satu lokasi yang sama. Gedung itu masih merupakan aula perusahaan.

Mereka tidak membutuhkan kampus, gardu induk baru, atau sungai. Mereka membutuhkan sel kecil yang berfungsi seperti pusat data AI dalam miniatur: daya yang benar-benar dapat ditampung oleh rak, panas yang keluar tanpa merusak chip, jaringan yang dapat digunakan untuk komunikasi dalam pelatihan, penyimpanan yang dapat menyimpan titik pemeriksaan, dan buku panduan untuk saat sebuah node mati. Karena citra tidak dapat keluar, menyewa ruang penyimpanan kolokasi yang berjarak empat puluh menit bukanlah jawabannya. Memasang dua rak adalah solusinya.

Apa yang dibutuhkan sel

• Anggaran daya terukur pada baris tersebut, dari PDU, bukan dari daftar keinginan GPU. Jika kapasitas cadangan tidak dapat memenuhi kebutuhan keempat server pada beban pelatihan, pembicaraan berhenti di situ dan mereka mempertimbangkan pusat data yang lebih padat, bukan keajaiban

• Pendinginan udara tidak pernah diminta untuk ditangani pada kepadatan ini: penukar panas pintu belakang jika aula memungkinkan, atau sirkuit cairan kecil jika itu bisa digunakan. Jika tidak memungkinkan, server tidak akan ditempatkan di sana

• Jaringan khusus berkecepatan tinggi di antara keempat node, bukan Ethernet kantor. Jika vendor hanya memiliki switch 10 Gb dalam katalognya, itu bukanlah sebuah cluster

• Penyimpanan lokal cepat untuk titik pemeriksaan dan shard pelatihan, bukan VM SAN

• Penjadwal, interval titik pemeriksaan, dan jalur restart tertulis. Perangkat keras adalah bintangnya. Lapisan ini adalah tugasnya

• Kotak inferensi yang terlindungi untuk jalur produksi, terpisah dari kebisingan pelatihan, karena layanan menginginkan latensi ekor dan isolasi, bukan kolektivitas

• Izin untuk mencatat daya, kecepatan clock GPU, peristiwa pembatasan (throttle), dan waktu eksekusi (wall-clock). Jika mereka tidak dapat memeriksa hal-hal tersebut, mereka akan memotret GPU dan melewatkan sakelar-sakelar tersebut

Contoh instruksi

Tomos menjelaskan hal ini dalam uraian fasilitas, dengan bahasa yang mudah dipahami:

Jangan sebut ini kampus AI. Bangun sel pelatihan dua rak di aula yang ada untuk empat server akselerator ganda. Citra pabrik tetap di lokasi. Keberhasilan adalah: keempat node menyelesaikan resep pelatihan inspeksi 12 epoch tanpa pembatasan termal, menulis checkpoint dalam hitungan menit, bukan puluhan menit, dan melanjutkan dari checkpoint tersebut ketika kita sengaja menghentikan suatu rank. Pendinginan harus menjaga GPU pada kecepatan clock pelatihannya. Jaringan harus berupa jaringan yang digunakan bersama oleh keempat kotak tersebut, bukan jalur melalui tumpukan kantor. Penyimpanan harus memberi makan chip. Jika penukar panas pintu belakang tidak muat, katakan saja dan hentikan. Jangan mengutip PUE untuk dua rak di aula campuran. Angka itu hanya sandiwara.

Kemudian dia memasukkan ini ke dalam pelatihan itu sendiri:

Lakukan checkpoint setiap 30 menit ke kolam cepat lokal. Jika seorang pemain mati, mulai ulang dari checkpoint terakhir yang berhasil diselesaikan. Jangan menunggu di SAN. Jangan terus berlatih saat waktu habis karena panas. Catat dan hentikan agar kami dapat melihat hambatannya.

Satu jam yang baik terlihat seperti ini: kedelapan GPU beroperasi pada kecepatan pelatihan, file checkpoint berhasil disimpan, pekerjaan masih berjalan sinkron. Satu jam yang buruk terlihat seperti ini: kipas berputar kencang, kecepatan turun, checkpoint baru 2% ditulis setelah sepuluh menit, dan seseorang di kantor mengatakan "cluster sudah aktif". Aktif bukan berarti sedang pelatihan.

Bagaimana cara mengujinya?

Mereka membuat tes sebelum renovasi, dan itulah inti dari tidak mempercayai demo.

• Resep 12 epoch yang sama, 120.000 still inspeksi yang sama, delapan kali proses

• Waktu yang dihitung adalah waktu jam dinding hingga resep selesai, termasuk setiap pengulangan, diukur dari pengiriman pekerjaan hingga titik pemeriksaan terakhir dari epoch 12

• Pemeriksaan suhu: Kecepatan clock GPU tetap pada target pelatihan selama proses berlangsung. Terjadi pelambatan (throttling) yang mengakibatkan kegagalan, meskipun pekerjaan akhirnya selesai

• Analisis penyimpanan: waktu penulisan titik pemeriksaan, median dan terburuk, dari log pekerjaan

• Sebuah proses transisi pada pekerjaan: pekerjaan tidak boleh tertunda secara kolektif selama suatu posisi dalam kondisi baik. Jika mereka tidak dapat melihat penundaan tersebut, maka pengerjaannya belum selesai

• Dua dari delapan percobaan sengaja dihentikan pada langkah tertentu untuk menguji jalur memulai ulang

• Inferensi adalah pengujian terpisah yang terdiri dari 200 gambar dari jalur produksi pabrik hingga kotak penyajian yang dipagari. Keberhasilan pelatihan tidak dihitung sebagai keberhasilan penyajian

• Mereka merekam daya rak dari PDU dalam sampel 15 menit sehingga tidak ada yang perlu menciptakan satuan megawatt

Persetujuan untuk menyebut sel tersebut "siap AI": 8 dari 8 resep selesai; 0 dari 8 menunjukkan pembatasan termal; kedua proses yang dihentikan dilanjutkan; titik pemeriksaan tetap dalam hitungan menit. Jika mereka melewatkan itu, mereka masih memiliki ruang server dengan kartu grafis canggih.

Hasil

Hasil ilustratif, dari uji coba delapan kali percobaan yang dibuat-buat, bukan angka yang dipublikasikan oleh Kestrel.

Asumsi: empat server akselerator ganda dalam dua rak; satu model inspeksi; 120.000 gambar diam; delapan kali menjalankan resep 12-epoch tetap; waktu nyata mencakup restart hingga resep selesai; pembatasan berarti penurunan yang tercatat dari jam pelatihan; waktu titik pemeriksaan adalah penulisan, bukan keinginan; daya rak adalah sampel PDU, bukan PUE kampus.

Sebelum dilakukan retrofit, GPU berada di rak berpendingin udara biasa pada Ethernet kantor dan VM SAN:

• 5 dari 8 percobaan selesai pada percobaan pertama. Waktu rata-rata di antara kelima percobaan tersebut: 14 jam

• 3 dari 8 percobaan harus dimulai ulang setelah mengalami hambatan sekitar jam ke-11 (dua setelah node mati dengan checkpoint yang kedaluwarsa, satu setelah checkpoint memenuhi SAN). Percobaan ulang langsung, tanpa menunggu semalaman: 11 jam terbuang ditambah percobaan kedua selama 14 jam, atau 25 jam untuk menyelesaikan resep pada ketiga percobaan tersebut

• Rata-rata waktu penyelesaian resep untuk kedelapan percobaan, termasuk percobaan ulang: 18 jam. (Lima percobaan 14 jam, tiga percobaan 25 jam. Median dari kedelapan percobaan tetap 14 jam, yang akan menyembunyikan percobaan ulang. Itulah mengapa rata-rata digunakan sebagai dasar di sini.)

• Penurunan performa termal tercatat pada 7 dari 8 percobaan. Waktu rata-rata pada kecepatan clock yang dikurangi: 3 jam dalam percobaan selama 14 jam

• Waktu penulisan Checkpoint: median 22 menit

• Membunuh anggota berpangkat tinggi bukanlah ujian yang bisa mereka lewati. Mereka tidak memiliki buku panduan. Dua kematian yang tidak disengaja itu adalah temuannya

• Beban IT puncak pada kedua rak selama pelatihan: sekitar 18 kW. Baris tersebut memiliki daya yang cukup. Namun, tidak memiliki sistem pendingin atau material yang memadai

Setelah penukar panas pintu belakang pada kedua rak tersebut, jaringan khusus di antara keempat node, kumpulan NVMe kecil untuk titik pemeriksaan, pemeriksaan setiap 30 menit, dan buku panduan memulai ulang:

• 8 dari 8 selesai pada percobaan pertama. Waktu rata-rata (waktu jam dinding): 9 jam

• Pembatasan termal: 0 dari 8

• Waktu penulisan checkpoint: median 90 detik. Terburuk dalam set ini: 3 menit

• Kedua pembunuhan peringkat yang disengaja tersebut dimulai kembali dari titik pemeriksaan 30 menit terakhir. Waktu tambahan pada kedua percobaan tersebut: sekitar 40 menit masing-masing, termasuk diagnosis, jadi total waktu kedua percobaan tersebut mendekati 9 jam 40 menit. Rata-rata dari delapan putaran tetap adalah 9 jam

• Beban puncak TI masih sekitar 18 kW. Chip yang sama. Perilaku bangunan yang berbeda

Dalam sampel ini, waktu rata-rata untuk menyelesaikan resep turun dari 18 jam menjadi 9 jam, atau 9 jam per resep, total 72 jam dalam delapan kali percobaan. Tingkat penyelesaian pertama turun dari 5 dari 8 menjadi 8 dari 8. Tingkat akselerasi turun dari 7 dari 8 menjadi 0 dari 8. Angka terakhir itulah yang menunjukkan apakah mereka membeli akselerator atau pemberat kertas. Mereka tidak akan menyebut perubahan waktu tersebut sebagai penghematan produksi sebesar 50%. Delapan kali percobaan adalah jumlah yang kecil dan mudah.

Angka-angka ini adalah contoh perkiraan berdasarkan pengujian yang dinyatakan, sampel kecil, satu model, dan satu aula campuran. Angka-angka ini bukan PUE, bukan megawatt kampus, dan bukan bukti bahwa Kestrel harus membangun lokasi pelatihan di lapangan. Peninjauan log berada di dalam rentang waktu 9 jam; mereka tidak menyembunyikannya. Angka 18 kW adalah pembacaan PDU yang dibulatkan, bukan tagihan utilitas. Mereka tidak mengkonversi 72 jam tersebut menjadi biaya, karena tarif listrik gabungan pabrik akan membuat kasus bisnis yang tidak valid.

Pemeriksaan penyajian dilakukan secara terpisah dan lebih kecil: 200 gambar garis ke kotak berpagar, semuanya di lokasi. Itu adalah inferensi, bukan pelatihan. Mencampur keduanya akan menjadi kesalahan aula hibrida dalam skala kecil.

Apa yang bisa salah?

• Bagian pengadaan terus menyebut empat server itu sebagai "pusat data AI". Label tersebut menyembunyikan infrastruktur yang sebenarnya, dan pembelian selanjutnya adalah lebih banyak GPU untuk bagian yang sama yang bermasalah

• Penukar panas pintu belakang dipasang dan tidak ada yang mengoperasikan sisi airnya. Para penggemar masih berteriak. Jam masih terus berdetik

• Jaringan tersebut hanya terdiri dari satu switch tanpa jalur cadangan. Jika satu tautan gagal, "cluster" tersebut akan kembali terdiri dari empat workstation

• Checkpoint tetap berada di SAN karena pool NVMe adalah "fase dua". Fase dua tidak akan tiba sebelum node mati berikutnya

• Mereka mengutip PUE untuk dua rak di aula campuran. Iklim, batas, dan sisa baris ERP membuat rasio itu menjadi sesuatu yang tidak lazim

• Pelatihan dan pelayanan memiliki kesamaan. Banjir di titik pemeriksaan membuat jalur produksi pabrik tertunda. Latensi ekor adalah produk di sana, bukan kepadatan

• Sebuah node mati dan seseorang memperlakukannya sebagai tiket uptime alih-alih restart checkpoint. Tim operasional perusahaan dan tim operasional AI saling berbicara tanpa memahami satu sama lain sepanjang sore

• Mereka bisa saja menyewa sangkar, tetapi gambar-gambar itu tidak bisa keluar. Melupakan batasan itu membuat mereka terjebak dalam percakapan di awan yang harus mereka uraikan

Kesimpulan praktis

Apa yang dimaksud dengan Pusat Data AI, dalam bentuk ini, bukanlah gudang dan bukan pula tagihan GPU. Ini adalah sel yang memungkinkan akselerator menyelesaikan prosesnya: daya yang dapat mereka tampung, panas yang keluar, jaringan, pos pemeriksaan, dan seseorang yang bertanggung jawab ketika sebuah unit gagal. Kestrel tidak membutuhkan kampus. Mereka hanya membutuhkan dua rak untuk berhenti berpura-pura. Sebagian besar tim harus meniru perilaku tersebut. Beberapa tim, dengan kumpulan data rahasia dan aula yang dapat menahan panas, harus membangun sel dan menolak untuk beralih ke sistem yang lebih baik.

Pertanyaan yang Sering Diajukan (FAQ)

Apa itu Pusat Data AI?

Sebuah lokasi komputasi berdensitas tinggi di mana daya, pendinginan, jaringan, dan penyimpanan difokuskan pada pelatihan paralel dan penyajian model, bukan deretan rapi server serbaguna. Lokasi ini dirancang sedemikian rupa sehingga sejumlah besar akselerator dapat melatih dan menyajikan model tanpa mengalami panas berlebih, macet di jaringan, atau menunggu di disk. Aula perusahaan biasa adalah lingkungan campuran. Aula AI adalah monokultur yang unit nilainya adalah akselerator, seperti GPU atau chip bergaya TPU. Ia tampak seperti gudang dan berperilaku seperti pembangkit listrik yang melakukan perhitungan matematis.

Apa perbedaan pusat data AI dengan pusat data biasa?

Pusat data tradisional dioptimalkan untuk beban kerja campuran dan waktu aktif di banyak layanan kecil. Situs AI membalik rasio tersebut: kepadatan meningkat, jaringan menjadi infrastruktur yang sangat penting sehingga pekerjaan pelatihan tidak dapat berjalan tanpanya, dan penyimpanan harus menjaga titik pemeriksaan tetap berjalan atau akselerator akan menganggur. Operasi perusahaan berpikir dalam tiket dan jendela perubahan. Operasi AI berpikir dalam antrian pekerjaan dan perasaan tidak nyaman ketika sebuah node mati di akhir proses yang panjang. Anda masih bisa menyebut keduanya sebagai pusat data. Label tersebut hanya menyembunyikan infrastruktur internalnya.

Mengapa pusat data AI menggunakan begitu banyak daya?

Perangkat keras yang menonjol bukanlah CPU yang canggih. Melainkan baki akselerator: GPU atau chip AI lainnya, dikemas ke dalam server, kemudian rak, lalu deretan yang berbagi jaringan bandwidth tinggi. Kepadatan per rak adalah poin pentingnya: lebih sedikit rak, masing-masing merupakan tungku kecil. Beban TI dalam megawatt akan muncul begitu sebuah ruangan penuh, meskipun membuat angka tipikal tidaklah perlu. Faktor pembatasnya seringkali adalah gardu induk, bukan daftar keinginan GPU.

Bagaimana cara mendinginkan pusat data AI?

Rak dengan kepadatan tinggi membuang panas dengan cara yang tidak pernah benar-benar mampu ditangani oleh udara. Anda dapat mendorong udara lebih keras dengan penukar panas pintu belakang, lorong yang lebih panas, dan penahanan yang cerdas. Kemudian cairan muncul: pendinginan langsung ke chip, loop pendingin, dan perendaman dalam beberapa desain. Akselerator yang membatasi kinerja adalah akselerator yang sudah Anda bayar dan tidak dapat digunakan sepenuhnya. PUE tetap penting karena setiap watt yang dihabiskan untuk kipas dan pompa adalah watt yang tidak digunakan untuk GPU. Air juga berperan dalam hal ini: beberapa sistem menggunakan sedikit air, beberapa menggunakan banyak air.

Mengapa jaringan sama pentingnya dengan GPU?

Pelatihan adalah sebuah percakapan: ribuan akselerator bertukar gradien, parameter, dan bagian-bagian model secara sinkron. Jika jaringan mengalami gangguan, seluruh pekerjaan akan menunggu pada hop yang paling lambat. Itulah mengapa pusat-pusat AI terobsesi dengan jaringan berbandwidth tinggi, latensi rendah, jaringan seperti InfiniBand atau Ethernet dalam peran yang sama, dan topologi yang tidak terpotong ketika tautan gagal. Inferensi memperhatikan latensi ekor, banyak permintaan kecil, dan isolasi. Di gedung ini, saluran air adalah restorannya.

Apa kegunaan Pusat Data AI: untuk pelatihan atau inferensi?

Pelatihan adalah sebuah kampanye: merakit sebuah klaster, memberinya data, melakukan pengecekan secara rutin, dan menjalankannya selama berjam-jam atau berminggu-minggu. Inferensi adalah sebuah toko: model yang sudah dilatih, sekarang memberikan respons, dengan latensi yang penting. Kampus pelatihan mengejar daya, lahan, dan kepadatan. Situs inferensi mengejar latensi dan kehadiran. Aula hibrida ada karena modal tidak tak terbatas, terkadang satu aula dengan dua loop pendingin. Akselerator yang sedikit lebih tua di dekat pelanggan dapat mengalahkan akselerator mewah di benua lain.

Mengapa penyimpanan penting dalam pusat data AI?

Data pelatihan harus tiba cukup cepat agar GPU tidak menunggu lama. Checkpoint harus berhasil agar jika terjadi crash, data tidak hilang selama seminggu. Bobot model harus dimuat sebelum replika server aktif. Throughput penyimpanan, bukan hanya kapasitas, adalah hambatan tersembunyi. Anda bisa menghabiskan banyak uang untuk akselerator dan kemudian membatasinya dengan susunan yang dirancang untuk mesin virtual.

Apa yang terjadi jika sebuah node mati di tengah proses?

Satu akselerator yang mati dalam pekerjaan pelatihan yang saling terkait erat dapat menghentikan seluruh proses. Pelatihan membutuhkan titik pemeriksaan, bukan optimisme. Inferensi menguras node yang bermasalah, menjaga replika tetap merespons, dan tetap aktif. Jendela perubahan masih bertabrakan dengan proses pelatihan yang tidak peduli dengan kalender Anda. Redundansi masih penting untuk daya, pendinginan, jalur, dan penyimpanan, tetapi mode kegagalannya kurang rapi daripada grafik "sembilan detik waktu aktif" yang lama.

Apa dampak Pusat Data AI terhadap jaringan listrik, air, dan lingkungan sekitar?

Koneksi jaringan listrik seringkali menjadi proses pemilihan lokasi yang sebenarnya. Lahan lebih mudah dibandingkan gardu induk dan utilitas yang memiliki pelanggan lain. Air untuk pendinginan, jika Anda menggunakannya, menjadi masalah tetangga begitu hujan turun deras, bersamaan dengan kebisingan, ukuran bangunan yang besar, dan panas di pagar pembatas. Pelatihan dapat dilakukan di pasar listrik yang lebih murah dan iklim yang lebih sejuk. Inferensi lebih suka berada dekat dengan pengguna. Tidak ada satu lokasi yang sempurna. Ada kompromi dengan siaran pers.

Apakah saya perlu memiliki pusat data AI sendiri, atau sebaiknya saya menyewa?

Sebagian besar orang tidak perlu memiliki salah satu aula ini. Perusahaan hyperscaler membangun karena produknya adalah armada. Laboratorium membangun ketika waktu antrian menjadi hambatan atau data tidak dapat keluar. Bank, rumah sakit, pemerintah, atau produsen dengan kumpulan data rahasia dapat membuat penyimpanan on-premise atau colocation pribadi menjadi rasional. Yang lainnya harus menyewa: colocation siap AI, reservasi cloud, atau cluster terkelola. Anda mendapatkan akselerator tanpa harus menjadi operator pembangkit listrik.

Referensi

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Jaringan Hijau - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Institute - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Temukan AI Terbaru di Toko Resmi Asisten AI

Tentang Kami