Tag: Anda tidak dapat melakukan FinOps untuk menghindari biaya AI cloud

Pindai publikasi industri mana pun dan cerita yang sama akan muncul: Biaya cloud tidak terkendali, dan perusahaan-perusahaan sedang berjuang.

Teknologi yang diandalkan oleh semua orang untuk mendorong pertumbuhan justru memperburuk masalah ini: Sekitar 55% responden survei PricewaterhouseCoopers International Ltd. baru-baru ini mengatakan bahwa mereka belum merasakan manfaat apa pun dari alat kecerdasan buatan.

Perbaikan yang sering diusulkan adalah FinOps dengan fokusnya pada dasbor yang lebih baik, tata kelola yang lebih ketat, dan perkiraan yang lebih cerdas. Tapi sampahnya terus bertambah. Perusahaan-perusahaan masih menghabiskan lebih dari seperempat anggaran cloud mereka, dan meskipun alat ini dapat mengukur kerugian yang terjadi, mereka tidak dapat menghentikannya.

Yang kurang adalah pandangan jujur ​​mengenai apa yang sebenarnya menyebabkan tagihan tersebut. Saya menghabiskan dua dekade di Microsoft Corp. dan SAP SE mengamati perusahaan-perusahaan yang mengoptimalkan bagian-bagian tumpukan yang terlihat sementara mesin di bawahnya diam-diam bekerja keras. Biaya cloud saat ini memiliki cerita yang sama.

Tagihan cloud tidak melonjak dalam ruang hampa. Mereka memetakan biaya pemrosesan data. AI telah mengubah pemrosesan data menjadi sesuatu yang tidak dapat ditangani oleh arsitektur cloud.

Mengapa AI merusak model cloud

Sebelum AI menguasai setiap ruang rapat, perusahaan menghabiskan satu dekade untuk membangun analisis cloud. Kumpulan data terstruktur, dan beban kerja dijalankan secara batch dengan jadwal yang dapat diprediksi. Pemrosesan data dapat dikelola karena perekonomian bekerja.

AI meledakkannya. Batch menjadi berkelanjutan, data sampel menjadi kumpulan data lengkap, dan pekerjaan terjadwal menjadi saluran real-time melalui data multimoda. Volume, frekuensi, dan kompleksitas pemrosesan data telah berubah, namun arsitektur yang mendasarinya belum berubah.

Inilah bagian yang tidak dibicarakan oleh siapa pun: Bahkan setelah menghabiskan lebih banyak uang setiap tahunnya, sebagian besar perusahaan hanya memproses sebagian kecil data mereka di cloud karena menjalankan semua yang ada di sana akan membuat anggaran terbuka lebar. Mereka membayar lebih untuk cloud dan menjalankannya lebih keras, namun sebagian besar data yang sebenarnya dibutuhkan untuk AI masih belum tersentuh.

Perbaikan yang tidak dapat dicapai oleh FinOps

Perusahaan yang membengkokkan kurva biaya tidak melakukannya dengan FinOps; mereka sedang memperbaiki lapisan pemrosesan data.

Mesin saat ini dibuat untuk cluster unit pemrosesan pusat yang identik, namun infrastruktur modern mencakup CPU, unit pemrosesan grafis, susunan gerbang yang dapat diprogram di lapangan, dan akselerator khusus yang tersebar di seluruh cloud. Perangkat lunaknya belum menyusul. Beban kerja masih berjalan pada pengaturan satu ukuran untuk semua yang tidak dapat merutekan pekerjaan ke perangkat keras yang tepat, sehingga akselerator yang mahal tidak digunakan sementara cluster CPU bekerja maksimal.

GPU melakukan proses rip pada operasi tertentu 10 hingga 100 kali lebih cepat dibandingkan CPU, namun hanya jika perangkat lunak mengetahui ke mana harus mengirimkan pekerjaan tersebut. Ketika mesin pemrosesan data suatu perusahaan mengasumsikan homogenitas CPU di dunia yang heterogen, mereka membayar perangkat keras generasi berikutnya hanya untuk mendapatkan kinerja lama.

Solusinya adalah memperbaiki ketidaksesuaian tersebut. Membangun kembali fondasi untuk apa yang sebenarnya dibutuhkan AI sehingga beban kerja dialihkan ke perangkat keras yang masuk akal. Hasilnya adalah biaya turun drastis. Saya telah melihat platform e-niaga besar yang memproses setengah petabyte data setiap hari memotong biaya sebesar 80% tanpa perubahan kode dan tanpa migrasi. Platform sosial yang melayani 350 juta pengguna memangkas biaya sebesar 50% dengan menggunakan pola yang sama.

Apa yang sebenarnya berhasil

FinOps mempunyai peran, namun dasbor, tata kelola, dan perkiraan adalah alat untuk menyempurnakan model yang berfungsi, bukan memperbaiki model yang rusak.

Selama pipeline AI berjalan pada infrastruktur yang dirancang untuk analisis batch, biaya akan meningkat tidak peduli seberapa ketat tata kelolanya. Anda dapat memperkirakannya, melakukan dasbor, dan menetapkan pusat biaya dan tim penagihan balik, namun mesin di bawahnya masih membuang-buang uang.

Perusahaan yang memecahkan masalah ekonomi data dapat memproses kumpulan data lengkap dengan biaya yang tidak memerlukan pertarungan anggaran triwulanan. Sisanya akan terus mengamati kenaikan biaya sementara keuntungan menyusut, menatap dasbor FinOps yang menunjukkan dengan tepat ke mana uang itu pergi, namun tidak memberi tahu mereka bagaimana mempertahankannya.

Gambar: Kalhh/Pixabay

JG Chirapurath adalah presiden DataPelago Inc. dan mantan wakil presiden di cloud Azure Microsoft Corp. Dia menulis artikel ini untuk SiliconANGLE.