[TIL] 내일배움캠프 112일차_[ML] A/B 테스트

👀Today I Learn

A/B 테스트

• A/B 테스트는 두 개(A, B)의 변형을 비교하여 더 나은 성과를 내는 옵션을 결정하는 실험 기법
  • 예를 들어, 웹사이트의 버튼 색상을 빨강(A)과 파랑(B)으로 나눠 어떤 색상이 더 많은 클릭을 유도하는지 테스트하는 방식
• 일반적으로, 다음과 같은 상황에서 활용됨
  • UI/UX 개선: 버튼 크기, 배치, 색상, 텍스트 변경에 따른 사용자 반응 테스트
  • 마케팅 최적화: 광고 문구, 랜딩 페이지 디자인 비교
  • 추천 시스템 평가: 사용자에게 다른 추천 알고리즘을 제공하여 최적화
  • 가격 정책 실험: 가격 할인율 변화에 따른 구매율 측정

A/B 테스트의 핵심 요소

• A/B 테스트를 올바르게 수행하려면 아래 요소를 고려해야 함

1. 실험 가설 설정

• 예: “파란색 CTA 버튼이 빨간색보다 클릭률을 10% 증가시킬 것이다.”

2. 테스트 그룹과 컨트롤 그룹 분할

• 컨트롤 그룹(Control Group): 기존 버전(A)을 유지하는 그룹
• 실험 그룹(Treatment Group): 변경된 버전(B)을 적용하는 그룹
• 사용자는 랜덤하게 두 그룹으로 배정

3. 샘플 크기 결정

• A/B 테스트의 신뢰성을 확보하려면 충분한 사용자 수가 필요함
• 예: 유의미한 차이를 검증하기 위해 최소 1,000명의 사용자를 대상으로 테스트 진행

4. 주요 지표(KPI) 선정

• 클릭률(CTR), 전환율(Conversion Rate), 체류 시간 등
• 서비스에 따라 적절한 지표를 선택

5. 통계적 유의성 검증

• p-value(유의확률): p < 0.05일 경우 두 그룹 간 차이가 유의미하다고 판단
• 신뢰구간(Confidence Interval): 테스트 결과의 신뢰도를 확인

6. 실험 종료 및 최적화 반영

• 일정 기간 동안 데이터를 수집한 후, 승리한 버전을 서비스에 반영

게임 추천 서비스에 적용 방안

적용 가능 예시

1. 추천 알고리즘 비교
   • A 그룹: 콘텐츠 기반 추천
   • B 그룹: 협업 필터링 기반 추천

➡️ 더 높은 클릭률 및 게임 선택 비율을 보이는 추천 방식 채택

1. 추천 결과 UI 실험

• A 그룹: 기본 리스트 UI
• B 그룹: 카드형 UI

➡️사용자의 체류 시간과 클릭 수를 비교하여 최적의 UI 선택

1. 챗봇 피드백 방식 실험

• A 그룹: 간단한 1~2줄의 피드백 제공
• B 그룹: 상세한 피드백 제공 + 게임 추천

➡️ 사용자의 재방문율과 만족도 측정

A/B 테스트 진행 방식

테스트 그룹 분할 방법

• 랜덤 샘플링: 무작위로 사용자 그룹을 나눠 신뢰도 확보
• 쿠키 또는 세션 기반 할당: 동일 사용자가 테스트 기간 동안 같은 그룹에 속하도록 설정
• 유저 ID 기반 그룹 분할: 특정 기준에 따라 일정 비율의 사용자를 A/B 그룹으로 할당

데이터 분석 & 결과 확인

• 실험 시작 후 일정 기간 동안 데이터를 수집하고 분석
• 통계적 유의성 검증을 거쳐 최적의 옵션을 선택
• 성과가 좋은 버전을 최종 서비스에 반영

💡Today I Thought

오늘의 체크리스트

• 알고리즘 코드카타 1문제
• SQL 코드카타 1문제
• Frontend 수정
• TIL 작성

회고

 오늘은 ML 공부를 하려고 했는데, 1차 사용자 테스트를 위해서 급하게 배포와 프론트로 방향을 전환했다. 하루종일 프론트프론트프론트.. 이제 코드 외우겠어… 죽을맛을 오늘도 맛보는중🤮 내일은 ML 공부해서 이번주 내에는 PickMate도 완성하고 싶다.. 할 수 있을랑가는 모르겠지만ㅎㅎ