Asana mengumumkan bahwa dalam pengujian AI StackAI yang mengotomatiskan operasi browser, mereka memangkas estimasi biaya model hingga 1/76 dibandingkan konfigurasi produksi sebelumnya dan meningkatkan kecepatan pemrosesan 5 kali lipat. Dengan konfigurasi yang mengoptimalkan GPT‑6.1 Sol dan pengelolaan riwayat penelusuran, satu kali proses rata-rata memakan biaya 0,47 dolar dan waktu sekitar 4 menit.
Penghematan hingga 1/76 bukan semata-mata hasil mengganti model
Hal yang perlu diperhatikan dari angka ini adalah bahwa perbandingan tersebut bukan mengukur kinerja model saja, melainkan hasil gabungan model dan mekanisme pemrosesan. Agen browser adalah AI yang membaca halaman web dan menjalankan tugas seperti mengumpulkan informasi atau mengisi formulir. Asana menyediakan otomatisasi pekerjaan semacam ini melalui StackAI, perusahaan yang telah diakuisisinya.
Dalam pengujian, mereka mengumpulkan enam jenis informasi untuk masing-masing dari 32 buku dalam katalog demo publik. Sebanyak empat model dan beberapa konfigurasi diuji dalam total 144 kali proses. Dengan model B yang digunakan pada awalnya, estimasi biaya model per proses mencapai setidaknya 36,21 dolar. Namun, hanya dengan meninjau ulang mekanisme pemrosesan, biayanya turun menjadi 1,24 dolar. Konfigurasi yang telah dioptimalkan dengan GPT‑6.1 Sol menurunkannya lebih jauh menjadi 0,47 dolar.
Dengan kata lain, biaya dapat dipangkas hingga sekitar 1/29 bahkan dengan tetap menggunakan model B. Di balik angka 1/76 pada judul, perbaikan desain pemrosesan sebelum memilih model berperan besar.
Kunci penghematan ada pada riwayat penelusuran yang diberikan kepada AI
Dalam konfigurasi sebelumnya, instruksi tetap dan sejenisnya sudah di-cache, tetapi isi halaman dan riwayat tangkapan layar yang terus bertambah tidak termasuk. Cache adalah mekanisme untuk menggunakan kembali masukan yang sudah diproses. Jika riwayat tidak dapat digunakan kembali, setiap kali AI dipanggil, informasi sebelumnya harus dikirim ulang dan dikenai biaya.
Selain itu, gambar lama dihapus dan teks dipersingkat hampir di setiap langkah. Karena riwayat sering diubah, menambahkan cache saja sulit memberikan dampak. Menghapus terlalu banyak informasi juga dapat menyebabkan AI mengunjungi kembali halaman yang sudah dibacanya.
Karena itu, batas penyimpanan riwayat ditingkatkan dari 120.000 menjadi 480.000 karakter, dan riwayat penelusuran juga dimasukkan ke dalam cache. Tangkapan layar dikumpulkan hingga 20 gambar sebelum hanya gambar terbaru yang disimpan. Dengan merapikan riwayat sekaligus, bukan setiap kali, mereka memperpanjang masa penggunaan riwayat tanpa mengubah isinya.
Menyimpan lebih banyak informasi pun bisa mengurangi biaya
Mengurangi informasi yang diberikan kepada AI akan membuat biaya lebih murah. Namun, hasil kali ini menunjukkan bahwa gagasan tersebut saja tidak cukup untuk menjelaskan biaya agen. Mempertahankan dan menggunakan kembali informasi, serta mengurangi pemeriksaan ulang yang tidak perlu, terkadang justru menekan biaya keseluruhan pemrosesan.
Dengan GPT‑6.1 Sol, setelah batas penyimpanan riwayat diperbesar, penyesuaian cache dan pengelolaan gambar menurunkan estimasi biaya model per proses dari 1,97 dolar menjadi 0,47 dolar. Setelah optimasi, 89% masukan berasal dari cache, dan biaya untuk bagian tersebut hanya 5% dibandingkan jika cache tidak digunakan.
Jumlah riwayat juga memengaruhi penyelesaian tugas. Dalam kondisi dengan batas penyimpanan yang lebih kecil, GPT‑6.1 Sol berhasil menghasilkan jawaban dalam 3 dari 18 proses. Dengan batas yang lebih besar, model menghasilkan jawaban dalam seluruh 18 proses. Semua jawaban dalam 18 proses tersebut benar menurut pengujian.
AI juga digunakan untuk menguji ide perbaikan
Selain GPT‑6.1 Sol yang benar-benar mengoperasikan browser, GPT‑6 Astra dari Codex digunakan untuk riset dan perbaikan. Model ini memeriksa struktur kode, mengidentifikasi masalah dalam pengelolaan riwayat, menyusun ulang kode untuk eksperimen, dan menguji beberapa konfigurasi secara paralel.
Bukan berarti manusia tidak terlibat. Frank Hidalgo, CTO StackAI, meninjau usulan dan memilih perubahan yang akan diuji. Catatan dan keluaran eksperimen juga ditinjau dalam sesi model terpisah dan disimpan di Command, platform pengembangan Asana. Perubahan diterapkan ke lingkungan produksi setelah melalui tiket dan pull request.
Hidalgo menjelaskan bahwa riset yang diperkirakannya akan memakan waktu 1–2 bulan jika dilakukan secara manual, selesai dalam sekitar satu minggu. Perbedaan durasi ini berdasarkan perkiraan Hidalgo, bukan hasil eksperimen pembanding yang mengerjakan tugas sama hanya dengan tenaga manusia.
Dalam memutuskan penerapan, pertimbangkan biaya dan tingkat penyelesaian sekaligus
Angka 0,47 dolar kali ini adalah estimasi biaya model, bukan total biaya yang mencakup tenaga kerja dan operasional sistem. Selain itu, sebagian konfigurasi pembanding belum selesai karena mencapai batas jumlah langkah pemrosesan. Karena itu, angka setidaknya 36,21 dolar dan lebih dari 22,5 menit merupakan batas bawah. Angka perbandingan utama adalah rata-rata dari tiga kali proses untuk setiap konfigurasi, dan tingkat penghematan yang sama belum tentu berlaku untuk semua pekerjaan web.
Di antara konfigurasi yang telah dioptimalkan, Model C mencatat biaya 0,66 dolar dan waktu 3,5 menit, sedangkan GPT‑6.1 Sol mencatat biaya 0,47 dolar dan waktu sekitar 4 menit. Dalam tugas ini, Sol lebih murah, tetapi Model C lebih cepat. Jadi, urutannya berbeda jika dilihat dari biaya dan kecepatan.
Asana telah menerapkan perubahan ini pada fitur operasi browser StackAI. Ke depannya, Asana berencana memasukkan pengujian ke dalam fitur evaluasi platform agar pelanggan dan tim internal dapat membandingkan biaya, waktu proses, dan kualitas jawaban untuk setiap konfigurasi.
コメント