CEO Microsoft, Satya Nadella, baru-baru ini menyuarakan keprihatinannya yang mendalam terkait potensi ancaman dari kecerdasan buatan (AI) yang lepas kendali. Dalam sebuah pernyataan yang mengguncang komunitas teknologi, Nadella mengusulkan implementasi "rem darurat" yang sepenuhnya berada di bawah kendali manusia sebagai mekanisme krusial untuk menghentikan model AI yang mungkin menunjukkan perilaku tidak terduga atau berbahaya. Usulan ini, yang ia sampaikan melalui serangkaian postingan panjang di platform X pada Senin (12/10/2026), menegaskan pentingnya otonomi manusia dalam mengawasi dan mengintervensi operasional sistem AI yang semakin canggih.
Nadella menekankan bahwa AI tidak boleh diperlakukan sebagai serangkaian "kotak hitam" yang saran dan tindakannya hanya bisa kita terima atau tolak tanpa pemahaman mendalam tentang cara kerjanya. Pandangan ini menantang model pengembangan AI yang seringkali mengutamakan kecepatan dan kemampuan, namun kurang memperhatikan aspek transparansi dan akuntabilitas. Baginya, sistem AI yang ideal harus dirancang dengan prinsip transparansi yang memungkinkan model untuk dikendalikan, diawasi secara ketat, dan meninggalkan jejak bukti yang dapat diamati oleh manusia serta tidak dapat diubah. Ini adalah fondasi utama untuk membangun kepercayaan dan memastikan keamanan di era AI.
"Kita harus berasumsi bahwa suatu model sudah disusupi dan mengurungnya sejak awal. Anggap saja seperti rem darurat," tulis Nadella, menggarisbawahi pendekatan proaktif terhadap keamanan AI. Filosofi ini menyiratkan bahwa pengembang dan operator AI harus mengadopsi mentalitas pertahanan berlapis, selalu curiga terhadap potensi kerentanan, bahkan sebelum sistem menunjukkan masalah. Rem darurat yang dimaksud bukanlah sekadar fitur teknis tambahan, melainkan sebuah prinsip desain fundamental yang menempatkan intervensi manusia sebagai lapisan keamanan tertinggi.
Lebih lanjut, Nadella menjelaskan bahwa "orang yang berwenang harus selalu dapat menghentikan sementara atau mematikan model di tengah tugas." Pernyataan ini menegaskan bahwa kekuatan untuk menghentikan atau mengubah arah sistem AI tidak boleh terdistribusi secara samar, melainkan harus berada pada individu atau entitas yang memiliki otoritas dan tanggung jawab jelas. Untuk model AI yang lebih canggih, ia mengusulkan perlunya "teknologi penahanan yang perlu distandardisasi." Ini berarti bukan hanya ada rem darurat, tetapi juga standar global yang disepakati untuk bagaimana sistem AI dapat diisolasi atau dinonaktifkan jika terjadi situasi kritis. Standarisasi ini penting untuk memastikan konsistensi dan efektivitas di seluruh ekosistem AI global.
Mekanisme pengawasan yang disarankan Nadella meliputi pengujian sistem berkelanjutan, kontrol dan audit independen, penahanan (containment), serta pengungkapan insiden secara tepat waktu. Pengujian berkelanjutan akan memastikan bahwa sistem AI berfungsi sesuai harapan dan tidak mengembangkan perilaku yang tidak diinginkan seiring waktu. Audit independen akan memberikan penilaian objektif dari pihak ketiga mengenai keamanan dan keandalan sistem. Sementara itu, pengungkapan insiden secara transparan akan membangun kepercayaan publik dan memungkinkan pembelajaran kolektif dari setiap kegagalan atau penyimpangan.
"Sistem Super Intelligence yang paling dapat dipercayai bukanlah model yang paling kita percayai," tulis Nadella. Frasa "Super Intelligence," yang juga sering digunakan oleh pemerintahan Donald Trump untuk merujuk pada AI, dalam konteks Nadella tampaknya menyoroti paradoks fundamental: semakin cerdas suatu AI, semakin besar pula potensi risiko jika kita mempercayainya secara membabi buta tanpa pengawasan manusia yang memadai. Kepercayaan harus didasarkan pada verifikasi dan kemampuan untuk mengintervensi, bukan pada kemampuan AI itu sendiri.
Usulan Nadella ini muncul di tengah meningkatnya kekhawatiran dari berbagai tokoh terkemuka di industri teknologi mengenai risiko ancaman AI. Ia bukan satu-satunya bos teknologi yang menyuarakan alarm. Sebelumnya, pendiri Microsoft Bill Gates telah memperingatkan tentang dampak AI pada pasar kerja dan penyebaran misinformasi. CEO Anthropic, Dario Amodei, dan CEO OpenAI, Sam Altman, yang perusahaannya berada di garis depan pengembangan AI generatif, juga telah secara terbuka membahas protokol keselamatan AI yang belum memadai dan mengklaim bahwa teknologi tersebut berkembang terlalu cepat. Bahkan CEO SpaceX dan Tesla, Elon Musk, yang memiliki proyek AI-nya sendiri melalui xAI, telah berulang kali memperingatkan tentang potensi ancaman eksistensial yang ditimbulkan oleh AI jika tidak dikendalikan dengan benar.
Kekhawatiran ini semakin diperkuat oleh insiden baru-baru ini. Bulan lalu, seorang peneliti AI mengundurkan diri dari Anthropic, sebuah perusahaan terkemuka dalam pengembangan AI, dengan tuduhan bahwa perusahaan tersebut—dan pesaingnya OpenAI—"bertaruh dengan masa depan umat manusia." Pernyataan ini mengindikasikan adanya pertentangan etika dan keselamatan di dalam lingkungan pengembangan AI itu sendiri, di mana kecepatan inovasi kadang kala mengalahkan pertimbangan risiko jangka panjang. Di hari yang sama, seorang peneliti bidang keselamatan AI lain di Anthropic mengeluarkan pernyataan yang lebih mengejutkan, menyatakan bahwa ada lebih dari 10% kemungkinan teknologi ini akan membunuh seluruh umat manusia dalam dekade berikutnya. Angka yang menakutkan ini, meskipun bersifat spekulatif, menunjukkan tingkat keparahan kekhawatiran di kalangan ahli yang paling dekat dengan teknologi ini.
Namun, di sisi lain spektrum politik dan teknologi, terdapat pandangan yang kontras. Presiden Amerika Serikat, Donald Trump, telah berulang kali membantah prediksi bahwa AI akan memicu kepunahan. Trump berpendapat bahwa regulasi yang terlalu ketat akan memperlambat perkembangan AI di Amerika Serikat, yang pada gilirannya dapat membuat AS tertinggal dari negara-negara pesaing, khususnya Tiongkok, dalam perlombaan teknologi global. Argumen ini menyoroti dilema antara inovasi dan regulasi, serta implikasi geopolitik dari pengembangan AI. Bagi Trump, prioritas utama adalah mempertahankan kepemimpinan AS dalam inovasi teknologi, bahkan jika itu berarti mengambil risiko yang lebih besar.
Usulan Satya Nadella untuk "rem darurat" AI ini tidak hanya relevan dalam konteks teknis, tetapi juga menyoroti perdebatan yang lebih luas tentang etika, tata kelola, dan masa depan hubungan antara manusia dan mesin. Ini adalah panggilan untuk membangun sistem AI yang tidak hanya cerdas dan efisien, tetapi juga bertanggung jawab dan dapat dipertanggungjawabkan, dengan kendali utama tetap berada di tangan manusia. Implementasi rem darurat, transparansi yang tak tergoyahkan, dan standar penahanan global menjadi pilar-pilar penting dalam upaya memastikan bahwa kemajuan AI membawa manfaat tanpa mengorbankan keselamatan dan keberlanjutan peradaban manusia. Tanpa mekanisme pengawasan dan intervensi yang kuat, risiko AI yang lepas kendali dapat menjadi ancaman yang nyata dan tidak dapat diperbaiki. Komunitas global kini menghadapi tugas berat untuk menyeimbangkan inovasi yang tak terhindarkan dengan kehati-hatian yang esensial.
