추천 기준이 바뀌면 같은 입력도 다른 결과가 나올까?

절차를 정하는 일, 목표를 고르는 일

알고리즘은 문제 해결을 위한 절차입니다. 책을 제목순으로 정렬하거나 여러 길 중 짧은 길을 찾는 일에도 알고리즘을 생각할 수 있습니다. AI가 등장하면서 생긴 개념은 아니며, 모든 알고리즘이 학습을 통해 만들어지는 것도 아닙니다.

이 글은 같은 입력을 서로 다른 목표와 규칙으로 처리할 때의 차이를 비교합니다. 입력과 규칙이 모두 같은 결정적 알고리즘은 같은 결과를 내며, 무작위 선택을 사용하는 절차는 별도로 구분해야 합니다.

먼저 문제를 어떻게 정의했는지가 중요합니다. “학생에게 좋은 글을 추천한다”는 목표는 그 자체로 계산 규칙이 되기 어렵습니다. 많이 클릭할 글인지, 이해를 돕는 글인지, 다양한 관점을 보여주는 글인지에 따라 수집할 데이터와 결과의 평가 방법이 달라집니다.

추천 결과 앞의 세 가지 선택

클릭만 잘하는 추천과 공부를 돕는 추천

가상의 독서 앱이 클릭 수만 높이는 제목을 추천한다고 해봅시다. 짧고 자극적인 글이 많이 눌리면 이런 글을 계속 선택할 수 있습니다. 반면 읽은 뒤 낯선 개념을 설명할 수 있는지를 목표로 삼으면 다른 자료가 필요합니다. 클릭이라는 관찰값이 이해라는 목표를 완벽히 대신하지 못하기 때문입니다.

학생이 어려운 글을 오래 열어두었다고 해서 깊이 읽었다고 단정할 수도 없습니다. 잠시 자리를 비웠거나 이해가 되지 않아 멈췄을 수 있습니다. 로그는 행동의 일부를 보여줄 뿐, 학습자의 생각을 직접 읽는 장치가 아닙니다.

오류가 없는 계산도 나쁜 선택을 할 수 있습니다

정해진 규칙을 틀리지 않고 실행해도 기준 자체가 부적절하면 결과는 문제가 될 수 있습니다. 과거 데이터에 기회 차이가 담겨 있는데 그대로 미래의 자격을 판단한다면 기존의 불리함이 반복될 가능성을 살펴야 합니다. 따라서 정확도 하나가 모든 품질을 대신하지 않습니다.

NIST의 생성형 AI 위험 자료는 그럴듯한 오류, 편향 등 여러 위험을 함께 다룹니다. 이것이 모든 시스템이 같은 방식으로 실패한다는 뜻은 아닙니다. 추천 알고리즘과 생성형 언어 모델의 작동을 동일하게 설명하지 않고, 실제 시스템이 하는 일에 맞춰 검증 질문을 골라야 합니다.