5편. 감이 아닌 데이터로 다국어 전환율을 높이는 법 - A/B 테스트 실전 가이드
데이터를 보니 영어 페이지 구독 전환율이 한국어 페이지보다 낮다. 그런데 무엇을 바꿔야 할지 감도 오지 않는다. 이때 필요한 것이 실험이다. 감이 아닌 데이터로 무엇이 효과 있는지를 검증하는 방식이다. 이를 A/B 테스트 또는 실험적 개선(Experimentation)이라고 한다.
소규모 신문사도 이 실험 전략을 쓸 수 있다. 도구가 비싸지 않아도 된다. 이번 편에서는 다국어 사이트 성과를 실험으로 개선하는 방법을 정리한다.
다국어 웹사이트 운영과 개선
#2. 언어별 콘텐츠 업데이트 관리법
#5. 다국어 사이트 성과 개선 실험 전략←현재글
#6. 적은 운영 인력으로 유지되는 구조(예정)
#7. 장기적으로 확장 가능한 운영 체계(예정)
왜 실험이 필요한가
직관으로 개선하면 틀릴 확률이 높다. 2025년 Convert의 실험 에이전시 보고서에 따르면, A/B 테스트를 진행하는 팀의 40%가 10년 이상의 경험을 가진 전문가들이다. 그런데도 테스트 결과가 직관과 다른 경우가 많다.
"구독 버튼 텍스트를 'Subscribe now'에서 'Start reading'으로 바꾸면 전환율이 오를 것"이라고 확신해도 실제로 테스트하면 결과가 다를 수 있다.
A/B 테스트는 이 불확실성을 제거한다. 두 버전을 동시에 테스트해서 어느 쪽이 더 효과적인지를 실제 데이터로 확인할 수 있다.
다국어 사이트에서 실험할 수 있는 항목
무엇이든 실험할 수 있다. 다만 언어별로 별도로 실험해야 한다는 점이 중요하다. 영어 독자에게 효과적인 변화가 한국어 독자에게는 효과가 없을 수 있다.
실험 항목 예)
- 구독 페이지 헤드라인: "Join 10,000 readers"와 "Get daily news briefing"을 비교한다
- 구독 버튼 텍스트: "Subscribe" vs "Start free trial" vs "Join now"
- 가격 표기 방식: "$7.99/month" vs "Less than a coffee per week"
- 기사 헤드라인: 정보형 vs 호기심 유발형
- 이메일 구독 CTA 위치: 기사 상단 vs 기사 하단 vs 팝업
- 구독 해지 문구: "Cancel anytime" 포함 여부
실험 도구: 소규모 신문사에 맞는 선택
무료 도구
구글 옵티마이즈(Google Optimize) - 구글이 2023년에 서비스를 종료했다. 대안이 필요하다.
VWO 무료 플랜 - 기본 A/B 테스트 기능을 무료로 제공한다. 월 2,000 세션까지 무료다. 소규모 신문사 초기에 충분하다.
Matomo - 오픈소스 분석 도구다. A/B 테스트 기능을 내장하고 있다. 자체 서버에 설치하면 무료로 사용할 수 있다.
유료 도구 (적은 트래픽용)
AB Tasty - 중소규모 사이트에 적합하다. 언어별 타기팅 기능을 지원한다.
Convertize - 구독 기반 미디어 사이트에 최적화된 A/B 테스트 도구다.
소규모 신문사가 처음 실험을 시작한다면 VWO 무료 플랜 또는 Matomo로 시작하는 것이 현실적이다.
실험 설계: A/B 테스트를 올바르게 진행하는 방법
아무렇게나 실험하면 안 된다. 잘못 설계된 실험은 결론도 올바르지 못하게 된다.
올바른 A/B 테스트 5단계
1단계 - 가설 세우기: "구독 버튼을 'Subscribe' 대신 'Start reading'으로 바꾸면 영어 페이지 구독 전환율이 높아질 것이다."
2단계 - 하나만 바꾸기: 한 번에 여러 요소를 동시에 바꾸면 무엇이 효과를 냈는지 알 수 없다. 버튼 텍스트를 바꾼다면 버튼 텍스트만 바꾼다.
3단계 - 충분한 기간 설정: 통계적으로 유의미한 결과를 얻으려면 충분한 방문자 수가 필요하다. 소규모 사이트라면 최소 2~4주를 테스트 기간으로 설정한다. 너무 빨리 결론을 내면 오류가 생긴다.
4단계 -한 언어씩 테스트: 영어 페이지에서 먼저 테스트하고 결과가 확인되면 한국어 페이지에 적용한다. 언어별로 독자 행동이 다를 수 있어서 결과가 다를 수 있다.
5단계 - 결과 기록: 테스트 내용, 기간, 결과를 문서로 남긴다. 이전 실험 결과가 다음 실험의 가설이 된다.
실험 우선순위: 효과가 큰 영역부터
모든 것을 동시에 실험하면 효과가 분산된다. 전환율에 가장 직접적인 영향을 주는 페이지부터 시작한다.
높은 우선순위
- 구독 페이지 (전환율에 직결)
- 이메일 구독 CTA (이메일 수집에 직결)
- 기사 첫 문장 (이탈률에 영향)
중간 우선순위
- 기사 헤드라인 (클릭률에 영향)
- 뉴스레터 제목 (오픈율에 영향)
낮은 우선순위
- 기사 본문 길이
- 이미지 배치
제틀란드(Zetland)의 오디오 실험
제틀란드(Zetland)가 오디오 포맷을 도입할 때 실험을 실행했다. 처음에는 일부 기사에만 오디오 버전을 제공하며 독자 반응을 관찰한 것이다. 그 결과 독자들이 오디오를 원한다는 사실을 알게 되었다. 2018년에는 60%의 독자가 오디오로 콘텐츠를 소비했다. 그때 오디오 중심으로 전략을 전환했다. 지금은 제틀란드 독자의 80%가 오디오를 듣는다.
이런 전환은 감으로 이뤄진 게 아니다. 독자 데이터가 방향을 결정한다. 제틀란드 CEO 레아 코르스고르(Lea Korsgaard)는 '오디오로의 전환이 3개월 만에 이루어졌다'라고 말했다. 빠른 실험과 빠른 실행이 가능했던 이유는 작고 유연한 팀 구조 덕분이었다.
소규모 신문사의 강점이 여기에 있다. 대형 언론사는 실험 결과가 나와도 조직 구조 때문에 빠르게 바꾸기 어렵다. 소규모 신문사는 실험 결과가 나오면 다음 날 바로 적용할 수 있다.
GEO 관점: AI 검색 인용을 높이는 콘텐츠 실험
2026년 AI 검색 인용을 높이기 위한 콘텐츠 실험이 새로운 분야로 부상했다. 이를 GEO(Generative Engine Optimization) 실험이라고 한다.
실험 항목은 아래와 같다.
- 질의응답 구조 추가: 기사 본문에 '자주 묻는 질문(FAQ)'섹션을 추가했을 때 AI 인용 빈도가 올라가는지 확인한다.
- 구조화 데이터 추가: 기사에 NewsArticle 스키마를 추가했을 때 AI Overview 노출이 늘어나는지 확인한다.
- 통계·데이터 명시: 숫자와 출처를 명확히 표기한 기사가 그렇지 않은 기사보다 AI 인용이 많은지 비교한다.
GA4에서 AI 검색 트래픽 소스를 별도로 추적하면 이 실험 결과를 어느 정도 측정할 수 있다.
마무리
실험은 구독 버튼 텍스트 하나를 바꾸는 것에서 시작해도 된다. 중요한 것은 결과를 측정하고 기록하는 것이다. 더 밀이 도시를 확장할 때 수치로 검증한 것처럼, 제틀란드가 오디오로 전환할 때 독자 데이터를 먼저 확인한 것처럼 말이다. 실험이 다국어 사이트를 성장시키는 가장 안전한 방법이다.
다음 편에서는 운영 인력을 최소화하면서도 유지되는 구조를 만드는 방법을 다룬다.
이 글은 '다국어 웹사이트 운영 팁 시리즈 - 5. 운영과 개선'의 다섯 번째 글입니다.
댓글
댓글 쓰기