Bebaskan Produktivitas:Pasangkan Otomatisasi UI dengan Otomatisasi Berbasis LLM
Baru-baru ini, sejumlah perusahaan AI terkemuka telah meluncurkan kemampuan baru yang memanfaatkan landasan model bahasa besar (LLM) mereka yang kuat untuk mengotomatiskan banyak tindakan yang dilakukan orang di layar dengan cepat. Penggunaan Komputer Anthropic, Amazon Q Business, dan "Operator" OpenAI yang akan datang dapat dengan cepat memahami layar, mengoperasikan perangkat lunak yang digunakan, dan meniru tindakan yang diinginkan pengguna—tanpa pelatihan coding atau model apa pun.
Otomatisasi berbasis LLM adalah cara baru untuk mengotomatisasi. Hal ini sangat berbeda dengan otomatisasi UI, yang mengandalkan model terlatih dan pendekatan berbasis aturan untuk mengekstrak informasi dan berinteraksi dengan layar, sistem, dan perangkat lunak. Karena otomatisasi berbasis LLM jauh lebih mudah digunakan, beberapa pengamat industri berpendapat bahwa otomatisasi berbasis LLM mungkin akan menggantikan otomatisasi UI.
Kami telah melakukan evaluasi ekstensif terhadap teknologi baru ini, dan kami gembira dengan potensinya dalam memperluas dampak otomatisasi ke seluruh perusahaan dan pengguna. Faktanya, kami mengintegrasikan yang terbaik dari mereka ke dalam platform kami. Karena teknologi ini memungkinkan AI untuk berinteraksi dengan perangkat lunak seperti yang dilakukan manusia, kami yakin teknologi ini benar-benar dapat merevolusi interaksi antara manusia dan layar. Mereka memiliki potensi untuk meningkatkan produktivitas pribadi ke tingkat yang lebih tinggi dan memungkinkan hampir semua orang menjadi pengembang warga untuk mengotomatisasi tugas-tugas mereka yang membosankan dan berulang.
Namun otomatisasi berbasis LLM tidak akan pernah sepenuhnya menggantikan otomatisasi UI dalam setiap proses. Misalnya, otomatisasi UI adalah pilihan yang jauh lebih baik untuk proses otomatis bervolume tinggi dan sangat penting yang melibatkan akses beberapa sistem dan bekerja dengan data sensitif atau kepemilikan. Jenis proses ini banyak terdapat di seluruh perusahaan—dan, secara umum, lebih baik ditangani dengan otomatisasi UI.
Untuk memahami alasannya, mari kita lihat sekilas cara kerja setiap pendekatan.
Otomasi UI dan otomatisasi berbasis LLM bekerja secara berbeda—dan itu penting
Pendekatan berbasis LLM biasanya menggunakan LLM multimodal (memahami gambar, kata, audio, dll.) untuk “membaca” layar dan mengambil tindakan. Pendekatannya bergantung pada LLM yang memahami informasi di layar (data, bidang, dll.) yang dihosting di cloud. Model kemudian memprediksi tindakan yang akan diambil manusia dan mengirimkan instruksi untuk mengambil tindakan tersebut (menyalin dan menempelkan data, dll.).
Sebaliknya, dalam otomatisasi UI, robot mengikuti serangkaian instruksi yang telah dikembangkan sebelumnya untuk menyelesaikan tugas yang ditentukan. Mereka dapat berjalan dalam lingkungan pelanggan dan/atau pengguna. Data hanya dapat diinterpretasikan secara lokal, dan robot mengikuti serangkaian instruksi yang jelas dan deterministik. Kemajuan terbaru yang didukung AI telah meningkatkan stabilitas dan keandalan secara signifikan, sehingga mengatasi banyak masalah awal otomatisasi UI berupa kerapuhan dan kerusakan.
Manfaat nyata dari otomatisasi UI
Perbedaan antara kedua pendekatan ini membuat SEMUA perbedaan ketika mengotomatiskan proses multisistem yang kompleks, bervolume tinggi, dan memerlukan keamanan dan akurasi tinggi. Untuk jenis alur kerja ini, otomatisasi UI adalah pilihan yang jauh lebih baik. Inilah alasannya:
Akurasi dan kelengkapan:Proses-proses penting seperti pesanan-ke-tunai bergantung pada ekstraksi, pergerakan, dan penempatan data yang akurat dari satu tempat ke tempat lain, serta dokumentasi dan komunikasi seputar aktivitas ini. Dalam hal ini, pendekatan berbasis LLM tidak dapat menandingi kinerja otomatisasi UI.
Misalnya, analisis data UiPath menunjukkan bahwa 96,5% dari seluruh otomatisasi pelanggan kami berjalan dengan sukses dengan pendekatan otomatisasi UI kami. Data yang tersedia secara publik mengenai otomatisasi berbasis AI menunjukkan bahwa otomatisasi tersebut kurang dapat diandalkan. Misalnya, Anthropic melaporkan tingkat akurasi sebesar 14,9% dalam pengujian yang dirancang untuk mengevaluasi upaya pengembang untuk membuat model menggunakan komputer—jauh di bawah tingkat keterampilan manusia sebesar 70-75%. Meskipun akurasi pasti akan meningkat seiring berjalannya waktu, masih banyak jalan yang harus ditempuh sebelum mencapai keseimbangan dengan otomatisasi UI.
Ada masalah lain juga. Semua LLM rentan terhadap halusinasi dan dapat mengambil tindakan yang tidak terduga. Misalnya, peneliti Antropik mencatat contoh di mana LLM-nya tiba-tiba tidak berfungsi—mengklik layar yang salah atau mengunduh foto taman nasional tanpa alasan yang jelas. Robot deterministik otomatisasi UI tidak memiliki kapasitas untuk bertindak nakal seperti itu.
Lalu ada masalah kelengkapan. Pendekatan yang mengambil gambar dari layar yang terlihat mungkin kehilangan data pada daftar dropdown yang berada di bawah margin. Dan hal ini mungkin mengabaikan tindakan jangka pendek yang tidak terjadi saat gambar diambil. Otomatisasi UI tidak mengalami masalah ini.
Keamanan dan tata kelola:Dalam hal memastikan privasi, memblokir serangan berbahaya, dan menyimpan data kepemilikan di dalam firewall, otomatisasi UI adalah pilihan yang jauh lebih kecil risikonya. Misalnya, dengan otomatisasi UI, hanya data yang diperlukan saja yang dikumpulkan. Berbeda dengan otomatisasi berbasis LLM, otomatisasi UI tidak melibatkan ekstraksi tangkapan layar secara besar-besaran yang mungkin secara tidak sengaja berisi data sensitif. Selain itu, robot perangkat lunak UiPath yang melakukan otomatisasi UI kami dapat diberi kredensial dan aksesnya ke data sensitif dapat dikontrol. Tingkat keamanan tersebut saat ini tidak tersedia dengan otomatisasi berbasis LLM.
Bagi kami, ini bukan salah satu/atau—melainkan keduanya
Ketika kita melihat ke masa depan, jelas bahwa munculnya otomasi berbasis LLM merupakan lompatan besar ke depan untuk jenis proses dan aktivitas tertentu. Dunia hampir mewujudkan impian untuk menghadirkan otomatisasi yang cepat, tanpa kode, dan cepat ke tangan hampir semua orang yang menggunakan layar dan perangkat lunak—mengantar era baru produktivitas dan kinerja pribadi yang belum pernah kita lihat sebelumnya.
Kami telah mengambil langkah-langkah untuk menghadirkan kemampuan semacam ini ke dalam Platform UiPath™. Secara khusus, kami akan segera menggabungkannya ke dalam pengalaman pengguna akhir kami seperti Autopilot™ untuk Semua Orang—serta menyediakan otomatisasi berbasis LLM sebagai opsi tambahan bagi pengembang warga dan pakar otomatisasi.
Kami tahu bahwa perusahaan ingin memanfaatkan kemampuan baru ini—namun ingin melakukannya dengan aman dan dengan kendali penuh. Oleh karena itu, kami telah memperluas kemampuan platform kami untuk menyediakan orkestrasi, pengelolaan, dan tata kelola yang dibutuhkan perusahaan, apa pun model atau model yang mereka adopsi.
Namun meskipun kami memperluas fungsionalitas dan dukungan untuk otomasi berbasis LLM, kami terus meningkatkan kemampuan otomasi UI kami—karena otomasi UI akan menjadi solusi terbaik untuk berbagai proses penting perusahaan. Kami akan terus memanfaatkan kemajuan AI yang muncul untuk membuat otomatisasi UI kami menjadi lebih cerdas, lebih mudah dalam memahami dan bertindak tanpa coding dan pelatihan yang signifikan, dan lebih tangguh. Contoh utama:Agen Penyembuhan UiPath baru (sekarang dalam pratinjau publik), yang dapat memperbaiki sendiri otomatisasi yang gagal.
Singkatnya, UiPath percaya akan masa depan otomatisasi yang didukung LLM dalam segala bentuknya, termasuk pendekatan berbasis UI dan LLM. Masing-masing memiliki kekuatan unik; masing-masing merupakan pilihan yang lebih baik untuk serangkaian peluang otomatisasi tertentu. Sasaran kami adalah menyediakan keduanya—bersama dengan pendekatan AI baru yang muncul—melalui platform perusahaan yang dapat mengatur, mengatur, dan mengelola seluruh opsi otomatisasi yang tersedia saat ini dan di masa depan.
