디디움에서 AI가 이력 후보를 낼 때는 항상 근거가 같이 붙는다. 원문에서 그대로 옮긴 문장, 그리고 그 문장이 원문 몇 번째 글자에서 시작하는지 알려 주는 위치. 사용자는 이 위치를 따라가서 원문과 후보를 나란히 비교한다.
처음엔 AI가 알려 준 위치를 그대로 쓰면 될 줄 알았다. 근데 AI한테 문장을 옮겨 적는 일이랑 그 문장이 몇 번째 글자에 있는지 정확히 세는 일은 완전히 다른 문제였다. 위치가 몇 글자만 밀려도 화면에는 엉뚱한 문장이 강조된다.
이게 확인 화면에서는 꽤 크다. 화면에 밑줄이나 강조 표시가 있으면 사람은 거기에 근거가 있다고 믿기 쉽다. 그런데 강조한 위치가 틀렸다면, 확인을 도우려고 만든 장치가 오히려 잘못된 확신을 준다. 문장이 그럴듯한지랑 그 문장이 실제 원문에 있는지는 따로 검사해야 한다.
위치는 서버가 다시 찾는다
그래서 AI가 준 위치 숫자는 안 쓰고, 디디움이 근거 문장을 원문에서 직접 다시 찾은 다음, 찾은 자리의 글자가 근거 문장과 정확히 같은지 한 번 더 맞춰 본다. 원문에서 직접 찾고, 잘라서 다시 대조한다.
기준은 원문에 글자 그대로 있느냐다. AI가 원문의 "사용자 12명"을 "20명"으로 바꿨거나, 표현을 자연스럽게 다듬어서 인용했다면 여기서 걸린다. 뜻이 비슷하다고 근거로 받아 주지 않는다.
근거 문장이 원문에 글자 그대로 없으면? 디디움은 그 후보 하나만 빼지 않고, 그 문서에서 AI가 뽑아 온 후보 전체를 안 받는다. 원문에 없는 문장을 근거라고 내놓은 결과라면, 나머지 후보도 믿기 어렵다고 봤다.
AI가 '이건 확실해요' 하고 높은 점수를 붙여 와도 예외는 없다. 원문 대조는 똑같이 거친다.
좋은 후보까지 같이 못 받을 수 있다는 비용은 있다. 한 문서에서 나온 후보 열 개 중 하나의 인용이 틀렸다고 나머지 아홉 개까지 안 받으면, 추출을 다시 해야 할 수도 있다. 이 단계에서는 후보를 많이 남기는 것보다, 원문에 없는 인용이 확인 화면에 들어오는 걸 막는 쪽을 골랐다.
다만 여기서 말하는 전체는 그 문서에서 한 번에 뽑아 온 결과다. 여러 문서를 같이 올렸을 때 문서 하나가 실패했다고 다른 문서 결과까지 버리는 건 아니다. 여러 문서를 가져오는 정책에는 나머지 결과는 유지하고, 어떤 문서가 실패했는지 알려 주도록 적어 뒀다.
반대로, 문자열이 맞는다고 다 끝난 것도 아니다. 같은 문장이 여러 곳에 있을 수도 있고, 원문 숫자부터 틀렸을 수도 있다. 이 검사로 알 수 있는 건 "그 문장이 원문에 있다"는 것까지다. 그 문장이 올바른 경험을 설명하는지는 사용자가 원문과 후보를 같이 보고 판단해야 한다.
초안을 쓴 뒤에도 검사한다
확인한 이력으로 초안을 쓴 다음에는 문장마다 다시 검사한다. 확인한 이력에 근거가 없는 문장, 이력이랑 숫자가 다른 문장은 반드시 고쳐야 할 항목으로 표시한다. 공고 문구를 그대로 옮겨 쓴 문장은 고쳐 보라는 경고로 표시한다.
검사 결과를 전부 같은 경고로 묶지 않은 데도 이유가 있다. 설명용 사례에서 확인된 경험은 "인터뷰 12명"인데 초안이 "인터뷰 20명"이라고 썼다면 사실값부터 고쳐야 한다. 반면 공고 표현을 그대로 옮긴 문장은 표현을 다시 볼 문제다. 둘을 구분해야 뭘 먼저 고칠지 보인다.
근거 위치 검사와 초안 검사는 서로 다른 시점의 문제다. 앞에서는 AI가 가져온 인용이 원문에 있는지 보고, 뒤에서는 그 재료로 쓴 문장이 확인한 이력을 벗어나지 않는지 본다. 앞 단계를 통과했다고 뒤 단계 검사를 건너뛰지 않게 짰다.
아직 부딪히는 곳
예시 자료를 넣고 처음부터 끝까지 직접 눌러 보면, 아직 매끄럽지 않은 데가 있다. 근거 위치를 화면에 제대로 못 보여 주는 경우도 있었다. 원칙은 정했고, 그 원칙이 화면까지 빈틈없이 이어지게 고치는 중이다.
프로그램 안에서 맞춰 볼 수 있다는 거랑 사용자가 화면에서 직접 맞춰 볼 수 있다는 건 다르다. 사용자가 실제로 원문을 열 수 있는지, 강조된 부분이 인용과 같은지, 실패했을 때 다시 확인할 곳으로 갈 수 있는지까지 이어서 봐야 한다.
여기 쓴 건 프로그램에 들어 있는 대조 방식이다. 실제로 공개된 화면에서 이 경로가 전부 제대로 이어지는지는 아직 다시 눌러 봐야 한다. 구현에 있는 검사랑 화면에서 확인한 결과를 나눠서 적는 것도, 근거를 다루는 제품이라면 같은 원칙이라고 생각한다.
다음 화에서는 네 명이 한 저장소(코드와 문서를 같이 모아 두는 곳)에서 이 원칙을 지키며 일하는 방법을 써 보려고 한다.