Agent chạy rồi.
Câu trả lời trông ổn. Demo xong, mọi người gật gù. Rồi có người hỏi một câu rất bình thường: "Bản này có tốt hơn bản tuần trước không?"
Tôi mở log ra để trả lời.
Không có log.
Đúng hơn là có, nhưng chỉ đủ để biết hệ thống không sập. Không có gì cho biết agent đã đọc tài liệu nào, vì sao nó chọn câu trả lời đó, hay mỗi câu tốn bao nhiêu tiền. Tôi không trả lời được câu hỏi kia. Không phải vì agent tệ. Mà vì tôi không có dữ liệu để biết nó tệ hay tốt.
Chuyện đó xảy ra với tôi không phải một lần. Là hai lần.
Con ngựa thì ai cũng mua được
Bây giờ, có một model AI mạnh dễ như mua một con ngựa khỏe. Đăng ký, lấy API key, vậy là có ngựa. Con ngựa chạy nhanh, thông minh, nghe lời phần lớn thời gian.
Nhưng một con ngựa không có yên, không có cương thì chưa phải phương tiện. Nó chỉ là một con vật khỏe đứng giữa sân. Muốn cưỡi nó đi làm việc thật, chở hàng thật, bạn cần một bộ yên cương: dây cương để điều khiển và ghìm lại khi cần, yên để ngồi cho vững, và một cuốn sổ ghi lại hành trình để lần sau biết đường nào nhanh hơn.
Trong ngành mình, bộ yên cương đó có tên: harness. Là lớp bao quanh model, quản lý việc agent đọc gì, gọi công cụ nào, ghi lại từng bước, đếm chi phí, và dừng được khi cần.
Con ngựa thì đi mua. Còn bộ yên cương, hầu như team nào cũng đang tự rèn.
Lò rèn nào cũng vấp cùng một cái đe
Tôi đã thấy khá nhiều team bắt đầu với AI, ở công ty lớn lẫn công ty nhỏ. Có những doanh nghiệp đang ngồi trên một hệ thống legacy chạy nhiều năm, có kho tài liệu nội bộ khổng lồ mà không thể đưa ra ngoài. Họ muốn chạy theo AI, nhưng sợ lộ dữ liệu. Muốn có agent, nhưng không có đội AI engineer. Thuê ngoài thì đắt. Tự tuyển thì chưa đủ kinh nghiệm để đánh giá người mình tuyển.
Và khi họ bắt tay vào làm, câu chuyện diễn ra gần như giống hệt nhau. Tôi kể được thuộc lòng, vì chính tôi cũng đã đi đúng con đường đó:
Đầu tiên là học. Vector là gì. RAG là gì. Embedding là gì.
Rồi đưa hết tài liệu vào. Không phân loại, không làm sạch, cứ đổ hết vào kho cho chắc.
Rồi viết prompt. Sửa prompt. Sửa lại prompt. Không biết prompt nào tốt hơn prompt nào, vì chưa có cách nào đo.
Rồi nó chạy được. Cả team thở phào.
Rồi mới nhận ra: không ghi log. Không có dữ liệu để agent tự cải thiện, cũng không có dữ liệu để con người đánh giá. Thế là lật đật quay lại ghi log.
Rồi hoá đơn tháng đầu về. Chi phí cao hơn tưởng tượng. Nhưng chưa ai ghi lại token cho từng câu trả lời, cũng chưa ai làm giới hạn sử dụng. Thế là lại lật đật đi đếm token, đi dựng usage cap.
Mỗi bước trong chuỗi đó đều hợp lý. Không ai trong câu chuyện này làm dở cả. Họ chỉ đang làm điều mà ai làm lần đầu cũng phải làm: tự rèn một bộ yên cương mà không có bản vẽ.
Cái đáng tiếc không nằm ở chỗ vấp. Cái đáng tiếc là team sau lại vấp đúng cái đe mà team trước vừa vấp. Mỗi lò rèn học lại bài học của lò bên cạnh, từ đầu, tốn đúng từng ấy tháng.
Rèn yên cương hai lần, tôi mới chịu ngồi vẽ bản vẽ
Nói thật, lần đầu tôi nghĩ mình xui. Lần thứ hai thì hết đổ cho xui được nữa.
Vấn đề tôi gặp nhiều nhất trong cả hai lần là không biết đánh giá agent thế nào. Không phải vì thiếu kỹ thuật đánh giá. Mà vì thiếu dữ liệu để đánh giá. Tôi đã rèn xong dây cương, đóng xong yên, cưỡi ngựa chạy được mấy vòng, rồi mới nhận ra mình quên làm cuốn sổ ghi hành trình. Không biết ngựa đã đi đường nào, dừng ở đâu, tốn bao nhiêu cỏ.
Đến lúc đó tôi mới tự hỏi một câu mà đáng lẽ phải hỏi sớm hơn nhiều:
Nếu mọi hệ thống chatbot và agent đều cần đúng những thứ này, log, trace, đo lường, giới hạn chi phí, tách dữ liệu, tích hợp an toàn vào app, thì tại sao mỗi team lại phải làm lại từ đầu?
Những thứ đó không phải tính năng riêng của một dự án nào. Chúng là tiêu chuẩn. Là phần yên cương mà con ngựa nào cũng cần, bất kể nó sẽ chở hàng gì.
Phần nào chung, phần nào của riêng bạn
Đây là chỗ tôi muốn nói rõ, vì nó là cốt lõi của Harnix.
Phần chung là bộ yên cương. Tích hợp agent vào app, chạy agent một cách bền vững, ghi lại từng bước của mỗi lượt trả lời, đếm token và chi phí, giới hạn sử dụng, tách dữ liệu của từng doanh nghiệp. Những thứ này nên được làm một lần, làm cho kỹ, rồi dùng chung.
Phần của riêng bạn là con đường. Agent của bạn cần nói chuyện với hệ thống nội bộ nào, ERP, CRM, kho tài liệu, hệ thống legacy chạy từ mười năm trước, đó là việc của bạn, qua MCP và các connector. Đó cũng là chỗ thật sự tạo ra giá trị, vì chỉ bạn mới biết con ngựa cần chở gì và đi đến đâu.
Harnix muốn nhận phần thứ nhất, để team của bạn dồn sức vào phần thứ hai.
Ngày đầu tiên nên trông thế nào
Nếu Harnix làm được đúng điều tôi muốn, thì một team muốn có AI agent sẽ bắt đầu ngày đầu tiên bằng một câu hỏi khác.
Không phải "làm sao code được một cái harness".
Mà là "agent của mình nên làm được gì trong hệ thống của mình".
Câu hỏi thứ nhất là câu hỏi của thợ rèn. Câu hỏi thứ hai mới là câu hỏi của người cần đi đường.
Harnix hiện đang ở những bước hoàn thiện cuối của bản MVP đầu tiên. Nó chưa làm được hết những gì tôi vừa kể, và tôi sẽ nói rõ phần nào đã có, phần nào đang làm, khi chia sẻ quá trình xây dựng ở đây. Kể cả những chỗ tôi rèn hỏng.
Quay lại câu hỏi ở đầu bài
"Bản này có tốt hơn bản tuần trước không?"
Lần tới có người hỏi câu đó, tôi muốn trả lời bằng cách mở trace ra, chỉ vào từng bước: đây là tài liệu nó đã đọc, đây là lý do nó chọn câu trả lời này, đây là số tiền nó đã tiêu.
Không phải bằng một cái nhún vai.
Con ngựa thì ai cũng mua được. Bộ yên cương, để tôi rèn một lần cho tử tế.
Harnix là nền tảng vận hành AI agent, đang trong giai đoạn xây dựng. Nếu bạn muốn theo dõi hoặc đăng ký dùng thử sớm: harnix.vn.
