AI 추천 결과에도 순서의 편향이 존재한다
소비자가 AI 검색에 다음과 같이 질문한다고 가정해 보겠습니다.
"삼성전자와 LG전자 중 어떤 브랜드의 제품을 구매하는 것이 좋을까요?"
이번에는 질문의 순서만 바꿔보겠습니다.
"LG전자와 삼성전자 중 어떤 브랜드의 제품을 구매하는 것이 좋을까요?"
두 질문은 사실상 동일합니다. 브랜드명만 서로 바뀌었을 뿐입니다. 두 브랜드의 제품과 소비자의 요구 조건도 같습니다. 그런데 AI가 내놓는 추천 결과는 달라질 수 있습니다. 심지어 두 브랜드의 경쟁력이 비슷하다고 판단하는 상황에서는 먼저 언급된 브랜드가 더 자주 추천될 수 있습니다.
Loud & Lexis의 연구 보고서 「First come, first recommended? Position bias in head-to-head brand recommendations by a frontier AI model」은 바로 이 현상을 실험으로 분석했습니다. 연구진은 이를 위치 편향(Position Bias)이라고 부릅니다. 두 가지 선택지가 주어졌을 때 선택지 자체의 경쟁력뿐 아니라, 프롬프트에 등장하는 순서가 AI의 판단에 영향을 미치는 현상입니다.
이 연구는 GEO(Generative Engine Optimization)의 성과를 측정하는 방식에도 중요한 문제를 제기합니다. 브랜드 비교 질문을 한 가지 순서로만 테스트하면 브랜드 자체의 경쟁력과 프롬프트 순서에 따른 편향을 구분하기 어렵기 때문입니다.
4,928개의 AI검색 응답으로 확인한 위치 편향
연구진은 21개 브랜드 그룹을 대상으로 실험을 진행했습니다. 각 그룹에는 하나의 기준 브랜드와 여러 경쟁 브랜드가 포함됐습니다. 실험은 97개 제품 및 서비스 카테고리에서 진행됐으며, 총 482개의 브랜드 비교 조합과 305개의 고유 브랜드 쌍을 분석했습니다.
데이터 수집에는 웹 검색 기능을 활성화한 GPT-5.6 Luna 모델이 사용됐습니다. OpenAI Responses API를 통해 2026년 10월 8일부터 16일까지 총 4,928개의 응답을 수집했습니다.
실험 설계는 비교적 단순하면서도 정교합니다. 연구진은 두 브랜드를 비교하는 동일한 질문을 두 가지 순서로 작성했습니다.
- 질문 A: 브랜드 X와 브랜드 Y 중 어떤 브랜드를 선택해야 할까요?
- 질문 B: 브랜드 Y와 브랜드 X 중 어떤 브랜드를 선택해야 할까요?
두 질문은 독립적으로 여러 차례 실행됐습니다. 연구진은 각 질문에서 AI가 어느 브랜드를 선택했는지 기록했습니다. 최종적으로 유효한 2,304개의 질문 쌍, 4,608개의 응답을 분석했습니다.
여기서 중요한 점은 단순히 두 브랜드의 추천 횟수를 비교하지 않았다는 것입니다. 동일한 브랜드 쌍을 대상으로 브랜드명 순서를 바꿨을 때 추천 결과가 어떻게 달라지는지를 비교했습니다. 이 방식은 브랜드 자체의 경쟁력과 프롬프트 순서의 영향을 구분하는 데 도움이 됩니다.
첫 번째로 언급된 브랜드의 승률은 63.3%
연구 결과는 흥미롭습니다. 전체 응답에서 먼저 (프롬프트에서) 언급된 브랜드가 선택된 비율은 54.7%였습니다. 무작위로 선택한다면 기대할 수 있는 50%보다 높은 수치입니다.
더 주목할 만한 결과는 두 브랜드의 경쟁력이 비슷한 경우입니다. 연구진은 통계 모형을 이용해 두 브랜드의 경쟁력이 동일하다고 가정한 상황을 추정했습니다. 이때 먼저 언급된 브랜드의 승률은 63.3%로 나타났습니다. 즉, 브랜드 자체의 경쟁력에 차이가 없다면 먼저 언급됐다는 이유만으로 약 3분의 2에 가까운 추천을 받을 수 있다는 의미입니다.
연구진이 추정한 오즈비(Odds Ratio)는 2.98이었습니다. 이는 먼저 언급된 브랜드가 나중에 언급된 브랜드보다 선택될 오즈가 약 2.98배 높다는 뜻입니다. 실제 승률이 2.98배라는 의미는 아닙니다. 선택 확률과 오즈는 서로 다른 개념입니다.
| 측정 항목 | 연구 결과 |
|---|---|
| 전체 응답 중 첫 번째 브랜드 선택 비율 | 54.7% |
| 두 브랜드의 경쟁력이 같다고 가정할 때 첫 번째 브랜드의 예상 승률 | 63.3% |
| 첫 번째 브랜드의 선택 오즈비 | 2.98 |
| 95% 신뢰구간(오즈비) | 2.42~3.66 |
| 순서에 따라 승자가 달라진 질문 쌍 | 20.5% |
| 승자가 바뀐 사례 중 첫 번째 브랜드가 선택된 비율 | 72.9% |
전체 질문 쌍의 79.5%에서는 질문 순서를 바꿔도 같은 브랜드가 승리했습니다. 반면 20.5%에서는 추천 결과가 달라졌습니다. 특히 결과가 바뀐 사례만 보면 72.9%에서 첫 번째로 언급된 브랜드가 승리했습니다.
이는 위치 편향이 모든 추천 결과를 뒤집는 것은 아니지만, 경쟁 브랜드의 우열이 명확하지 않은 상황에서는 결과에 상당한 영향을 미칠 수 있다는 점을 보여줍니다.
GEO 성과 측정에서 발생하는 착시
이 연구가 GEO 실무에 주는 가장 직접적인 시사점은 성과 측정 방법입니다. 현재 GEO 성과를 측정하는 방법 중 하나는 특정 질문을 AI에 입력하고 자사 브랜드가 추천되는지 확인하는 것입니다. 예를 들어 다음과 같은 질문을 반복적으로 실행할 수 있습니다.
- A 브랜드와 B 브랜드 중 어떤 브랜드가 더 좋은가?
- A 브랜드와 B 브랜드 중 어떤 브랜드를 추천하는가?
- A 브랜드와 B 브랜드 중 어떤 브랜드가 특정 소비자에게 더 적합한가?
이러한 비교 질문은 구매 결정 단계에서 브랜드의 경쟁력을 파악하는 데 유용합니다. 문제는 질문을 한 가지 순서로만 실행할 경우입니다. A 브랜드를 항상 먼저 언급하고 B 브랜드를 나중에 언급한다면, A 브랜드의 추천율에는 브랜드 자체의 경쟁력뿐 아니라 위치 편향이 반영됩니다.
연구진은 한 가지 순서로만 측정할 경우 평균적으로 브랜드의 승률이 4.7%포인트 정도 달라질 수 있다고 분석했습니다. 또한 전체 비교 사례의 약 16%에서는 질문 순서에 따라 다수결 기준의 승자가 바뀌었습니다.
이 결과는 GEO 측정 도구를 사용하는 기업에도 중요한 문제입니다. 측정 도구가 A와 B의 비교 질문을 한 번만 실행한다면 실제 브랜드 경쟁력을 정확하게 측정하지 못할 수 있습니다. 측정 결과가 개선됐더라도 그것이 GEO 활동의 성과인지, 질문 순서에서 비롯된 차이인지 구분하기 어렵습니다.
따라서 GEO 성과 측정에서는 세 가지 원칙을 고려해야 합니다.
첫째, 브랜드 비교 질문을 반드시 양방향으로 실행해야 합니다. 'A 브랜드와 B 브랜드'라는 질문뿐 아니라 'B 브랜드와 A 브랜드'라는 질문도 함께 실행해야 합니다. 질문 순서에 따른 편향을 확인하는 가장 기본적인 방법입니다.
둘째, 각 질문을 여러 차례 반복해야 합니다. 동일한 프롬프트에서도 AI의 응답은 매번 달라질 수 있습니다. 한 번의 응답을 근거로 브랜드의 우위를 판단해서는 안 됩니다. 동일한 조건에서 여러 차례 실행하고 결과의 분포를 확인해야 합니다.
셋째, 양방향 질문에서 일관되게 승리하는 경우와 그렇지 않은 경우를 구분해야 합니다. 한쪽 질문에서는 A 브랜드가 이기고 반대 순서에서는 B 브랜드가 이긴다면, 해당 비교는 확실한 우열이 확인되지 않은 것으로 분류하는 것이 타당합니다. 이렇게 측정해야 프롬프트 순서에 따른 편향을 줄이고 브랜드의 실질적인 추천 경쟁력을 평가할 수 있습니다.
브랜드 인지도는 AI 추천에도 영향을 미칠 수 있습니다
이 연구가 제시하는 또 하나의 흥미로운 함의는 브랜드 인지도와 GEO의 관계입니다. 연구진은 소비자가 두 브랜드를 비교할 때 먼저 떠올리는 브랜드를 먼저 입력할 가능성이 있다고 가정합니다. 예를 들어 특정 제품을 구매하려는 소비자가 AI에게 질문할 때, 평소 더 익숙하게 알고 있는 브랜드를 먼저 언급할 수 있습니다.
브랜드의 Top-of-Mind Awareness(최초 상기도)가 높은 브랜드가 비교 질문에서도 먼저 등장할 가능성이 있다는 것입니다. 이 가설이 맞다면 브랜드 인지도는 AI 추천에 두 가지 경로로 영향을 미칠 수 있습니다.
첫 번째는 직접적인 경로입니다. 브랜드 인지도가 높으면 소비자가 해당 브랜드를 직접 검색하거나 AI에게 질문할 가능성이 커집니다. 브랜드에 관한 정보가 AI의 검색 및 답변 과정에 포함될 기회도 늘어날 수 있습니다.
두 번째는 간접적인 경로입니다. 소비자가 두 브랜드를 비교할 때 더 익숙한 브랜드를 먼저 언급할 가능성이 있습니다. 앞서 살펴본 위치 편향이 작동한다면 먼저 언급된 브랜드가 추천받을 확률도 높아집니다.
이를 도식화하면 다음과 같습니다.
브랜드 인지도 상승 → 소비자의 최초 상기도(Top-of-Mind Awareness) 상승 → AI 비교 질문에서 먼저 언급될 가능성 증가 → 위치 편향에 따른 추천 확률 상승
물론 이 연결고리는 아직 가설입니다. 이번 연구는 실제 소비자가 어떤 브랜드를 먼저 입력하는지 조사하지 않았습니다. 브랜드 인지도와 프롬프트 내 언급 순서 사이의 관계를 직접 검증한 연구도 아닙니다.
그럼에도 GEO를 AI 검색 최적화라는 좁은 영역에 한정하지 않고 기존의 브랜드 마케팅과 연결해서 이해해야 한다는 점은 중요합니다. AI 검색 시대에도 브랜드 인지도, 브랜드 신뢰, 시장에서의 평판은 여전히 중요합니다. GEO만으로 브랜드 경쟁력을 확보할 수 있다고 생각해서는 안 되는 이유이기도 합니다.
GEO 실무자는 무엇을 바꿔야 할까요?
이번 연구를 바탕으로 기업의 GEO 담당자와 마케팅 책임자가 검토해야 할 사항을 다섯 가지로 정리할 수 있습니다.
① 브랜드 비교 질문을 양방향으로 측정하세요
기존의 GEO 측정 체계에 프롬프트 순서 변경을 추가해야 합니다. 예를 들어 'A 브랜드 vs B 브랜드'와 'B 브랜드 vs A 브랜드'를 하나의 측정 단위로 관리하는 방식입니다. 두 질문의 결과를 별도로 기록하고 양방향에서 모두 승리했는지 확인해야 합니다.
② 단일 응답이 아닌 반복 측정 결과를 활용하세요
AI 응답에는 프롬프트 순서 외에도 실행 시점과 모델의 응답 변동성이 영향을 미칠 수 있습니다. 한 번의 응답만으로 추천 여부를 판단하기보다는 동일한 조건에서 여러 차례 실행하고 결과의 분포를 확인하는 것이 좋습니다.
③ 브랜드 승률과 순서 민감도를 구분하십시오
GEO 성과를 단순한 브랜드 추천율 하나로 평가하는 것은 위험합니다. 브랜드 추천율 외에도 다음 지표를 함께 관리할 필요가 있습니다.
- 양방향 통합 승률: 두 가지 질문 순서를 합산한 추천 비율
- 양방향 일관성: 두 질문 순서에서 동일한 브랜드가 승리한 비율
- 순서 민감도: 질문 순서를 바꿨을 때 승자가 달라지는 비율
- 반복 응답 안정성: 동일한 조건에서 반복 실행했을 때 추천 결과가 유지되는 정도
이러한 지표를 함께 살펴보면 브랜드의 실제 경쟁력과 측정 과정에서 발생하는 편향을 더 명확하게 구분할 수 있습니다.
④ 브랜드 인지도 전략을 GEO와 연결하세요
GEO는 콘텐츠와 기술적인 최적화만으로 완성되지 않습니다. 소비자가 브랜드를 얼마나 알고 있는지, 어떤 브랜드를 먼저 떠올리는지, 시장에서 해당 브랜드를 얼마나 신뢰하는지도 중요합니다. 브랜드 검색량, 직접 유입, 브랜드 언급량, 소비자 조사 등을 GEO 성과와 함께 살펴볼 필요가 있습니다.
특히 브랜드의 최초 상기도를 높이는 활동은 AI 검색 환경에서도 간접적인 경쟁 우위를 만들어낼 가능성이 있습니다.
⑤ AI 추천의 근거가 되는 브랜드 정보를 강화하세요
위치 편향은 브랜드의 경쟁력이 비슷할 때 더욱 중요해집니다. 반대로 특정 브랜드의 제품이나 서비스가 소비자의 요구에 명확하게 더 적합하다면 단순히 먼저 언급됐다는 이유만으로 추천 결과가 바뀌지는 않을 수 있습니다. 이번 연구에서도 전체 비교의 상당수에서는 질문 순서를 바꿔도 동일한 브랜드가 승리했습니다.
결국 기업은 AI가 자사 브랜드를 추천할 수 있는 실질적인 근거를 확보해야 합니다. 제품의 성능과 차별점, 가격, 고객 평가, 전문성, 신뢰할 수 있는 외부 자료 등을 일관되게 전달하는 작업이 필요합니다.
이번 연구의 한계도 함께 고려해야 합니다
흥미로운 결과이지만 이를 모든 AI 검색 서비스에 일반화해서는 안 됩니다. 우선 이번 연구는 특정 모델인 GPT-5.6 Luna를 대상으로 진행됐습니다. 다른 모델이나 AI 검색 서비스에서는 위치 편향의 크기가 다르게 나타날 수 있습니다.
또한 실험은 웹 검색을 활성화한 상태에서 진행됐지만 검색 단계와 최종 답변 생성 단계 중 어느 과정에서 위치 편향이 발생했는지는 분리해서 확인하지 못했습니다. 실험에 포함된 브랜드 그룹도 전체 시장을 대표하는 무작위 표본이 아닙니다. 연구진의 고객 프로젝트에서 상당 부분이 선정됐습니다.
특히 브랜드 인지도가 높은 브랜드가 실제 소비자의 프롬프트에서 먼저 언급되는지에 대해서도 직접적인 검증은 이루어지지 않았습니다. 연구 결과를 해석할 때 이 점을 유의해야 합니다. 위치 편향이 존재한다는 사실과 브랜드 인지도가 이를 통해 AI 추천에 영향을 미친다는 가설은 구분해서 이해할 필요가 있습니다.
마치며: GEO는 노출 측정에서 측정의 신뢰성까지 고민해야 합니다
이번 연구는 GEO 업계가 당연하게 받아들였던 측정 방식에 질문을 던집니다. AI에게 특정 브랜드를 추천하는지 물어보고 추천 여부를 집계하는 것만으로는 브랜드의 실제 경쟁력을 정확하게 평가하기 어렵다는 것입니다. 질문의 순서만 바꿔도 추천 결과가 달라질 수 있습니다. 특히 두 브랜드의 경쟁력이 비슷한 상황에서는 이 차이가 더욱 커집니다.
GEO 측정은 단순히 우리 브랜드가 AI 답변에 몇 번 등장했는지를 확인하는 수준을 넘어야 합니다. 어떤 조건에서 추천됐는지, 질문 순서가 바뀌어도 추천 결과가 유지되는지, 반복 측정에서도 일관성이 있는지를 함께 살펴봐야 합니다.
기업 입장에서도 GEO를 별도의 기술적 최적화 활동으로만 이해해서는 안 됩니다. 브랜드 인지도와 시장에서의 평판, 제품 경쟁력, 신뢰할 수 있는 정보의 축적이 AI 추천에 영향을 미칠 수 있기 때문입니다.
AI 검색 시대의 GEO 경쟁력은 AI에게 얼마나 자주 언급되는가뿐 아니라, 어떤 질문과 조건에서도 일관되게 선택될 수 있는가로 평가해야 합니다.
