Databricks menambahkan alat evaluasi yang dapat disesuaikan untuk meningkatkan akurasi agen AI

“Perusahaan menghargai masukan para pakar domain untuk memastikan evaluasi akurat yang mencerminkan konteks unik, kebutuhan bisnis, atau standar kepatuhan,” kata Robert Kramer, analis utama di Moor Strategy and Insights. “Ketika Agent Bricks pertama kali diperkenalkan, banyak perusahaan menyambut baik kemampuan untuk mengotomatiskan evaluasi dan penilaian agen berdasarkan kualitas. Ketika agen ini bertransisi dari prototipe ke lingkungan produksi yang lebih menuntut, keterbatasan logika evaluasi generik menjadi jelas,” tambah Kramer.

Tunable Judges adalah hasil dari umpan balik pelanggan, khususnya dalam menangkap keahlian subjek secara akurat dan memungkinkan perusahaan menentukan “kebenaran” apa yang dapat diterapkan pada agen mereka, kata Wiley.

Tunable Judges dapat digunakan untuk memastikan bahwa ringkasan klinis tidak menghilangkan kontraindikasi dalam layanan kesehatan, atau dalam menerapkan bahasa yang patuh dalam rekomendasi portofolio, dan mengevaluasi nada, akurasi deeskalasi, atau bahkan dalam kepatuhan kebijakan dalam dukungan pelanggan.