토스 PO는 어떻게 기능을 넘어 서비스 추천 흐름을 설계했는가?

TL;DR

서비스 추천 제품은 등록 기능만 만드는 데서 끝나지 않고, 여러 지면을 연결해 소재의 유량을 늘리고 추천 성과와 품질까지 함께 관리해야 한다. 토스 사례에서는 공통 어드민과 SDK, 밀착 온보딩, 노출 정책, 예측 클릭률 모델, 다크 패턴 검사와 건강 지수를 결합해 사용자 경험과 전환 및 기여 매출을 동시에 개선했다.

Transcript

안녕하세요. 여러분 만나서 반갑습니다. 저는 오늘 여러분들께 토스 피오가 기능이 아닌 흐름을 설계하는 이유라는 주제로 발표를 준비했는데요. 어 오늘 제가 여러분께 들려 드릴 이야기는 제가 맡고 있는 제품 중에 여러분 토스 앱을 실행하시면 메인 홈화 화면 상단에 토스에 있는 수많은 서비스 중에 하나의 서비스를 추천하는 배너 구자가 있습니다.이 영역을 제품으로서 어떻게 발전시켜 갖고 그리고 그 안에서 어떤 기회들을 만들어서 토스 앱에 영향을 미치게 됐는지이 이야기를 들려 드릴 텐데요. 그전에 동화를 먼저 하나 들려 드리겠습니다. 옛날 옛날에 홈이라는 연못이 하나 있었어요. 그리고 그 주변에는 대출 신용 점수 카드라는 연못이... Read More

Key Insights

• 공통 어드민과 SDK는 여러 제품 팀이 소재 등록, 노출 로직, 추천 모델을 재사용하도록 연결하는 기반이 됐다.
• 도입 공지만으로는 제품 팀의 행동이 바뀌지 않아, 지면별 트래픽과 사업 목표를 분석한 직접 영업이 필요했다.
• 개발 여력이 부족한 팀에는 인벤토리 팀 개발자가 직접 SDK를 설치하고, 운영법과 반복 개선 방법까지 온보딩했다.
• 약 50개 지면이 공통 시스템에 연동되면서 각 팀은 작은 배너 영역의 성과를 측정하고 목표를 설정할 수 있었다.
• 관리 팀이 제품별 캠페인을 직접 운영한 결과, 하루 등록 소재는 약 100개에서 500개로 증가했다.
• 그로스팀은 배너 형태, 노출 횟수와 주기, 최소 기준, 예측 클릭률 모델을 핵심 성과 레버로 활용했다.
• 한 지면에서는 배너 위치가 최하단으로 내려가 노출이 줄었지만, 모델 개선 뒤 전환과 기여 매출은 두 배에 가깝게 높아졌다.
• CTR만 최적화하면 낚시성 문구와 무효 클릭이 늘 수 있어, 건강 지수와 후속 행동을 함께 평가해야 한다.

Questions & Answers

Q: 토스 PO는 왜 개별 기능보다 서비스 추천의 전체 흐름을 설계했는가?

여러 제품 팀이 각자 배너 소재를 등록하고 제거하며 노출 로직까지 운영하는 구조에는 반복 작업과 하드코딩 문제가 있었기 때문이다. 발표자는 공통 어드민, SDK, 추천 모델, 품질 관리 지표를 하나의 흐름으로 연결해야 사용자 경험과 비즈니스 성과를 함께 개선할 수 있다고 설명했다.

Q: 토스는 여러 서비스 추천 지면을 어떻게 하나의 운영 체계로 연결했는가?

소재를 등록하고 결과를 확인하는 인텔리전스 어드민과 노출 로직 및 추천 모델을 재사용 가능한 SDK로 만들었다. 이후 앱 안의 지면 목록과 트래픽, 담당 팀의 전환·방문·매출 목표를 분석해 개별 팀을 설득하고, 개발자가 설치를 지원해 약 50개 지면을 연동했다.

Q: 좋은 내부 도구를 공지했는데도 제품 팀의 도입이 느렸던 이유는 무엇인가?

제품 팀은 도구가 좋아 보인다는 점에는 동의했지만, 당장 업무가 바쁘고 실제 효과가 얼마나 될지 알기 어려우며 설치할 개발 여력도 부족하다고 반응했다. 이에 인벤토리 팀은 공지에 의존하지 않고 각 지면에서 기대할 수 있는 결과를 정리해 직접 제안했다.

Q: 공통 추천 시스템의 도입률을 높이기 위해 어떤 지원이 제공됐는가?

인벤토리 팀은 지면별 목적과 예상 효과를 설명하는 영업부터 SDK 설치, 소재 등록법, 성과 확인, 반복 개선 방법을 다루는 온보딩까지 지원했다. 설치 후에도 잘 만든 소재를 등록하고 학습을 축적할 수 있도록 제품 팀을 밀착 지원한 것이 확장의 핵심이었다.

Q: 인텔리전스 매니저 팀과 인벤토리 그로스팀은 왜 분리됐는가?

두 팀이 해결해야 할 문제가 달랐기 때문이다. 인텔리전스 매니저 팀은 등록량과 소재 품질, 제품 팀의 사용 경험에 집중했고, 인벤토리 그로스팀은 각 지면의 맥락에 맞춰 전환과 기여 매출, 클릭 성과를 높이는 데 집중하도록 목표를 분리했다.

Q: 소재 등록량과 노출량은 어떤 방식으로 증가했는가?

일곱 명의 팀원이 대출과 카드 같은 제품을 하나씩 맡아 직접 캠페인을 등록하고 결과를 관찰하며 불편과 버그를 개선했다. 약 6개월 동안 이 과정을 반복한 뒤 하루 등록 소재는 약 100개에서 500개로, 노출 소재는 900개에서 4,000개로 증가했다.

Q: 배너의 전환과 기여 매출을 높이기 위해 무엇을 실험했는가?

배너 위치와 한 줄·두 줄 형태를 바꾸고, 사용자별 노출 횟수와 반복 주기, 추천 소재로 채울 비율, 최소 노출 기준과 건별 가치 측정 방식을 실험했다. 또한 예측 클릭률인 PCTR 모델을 개선해 순간마다 사용자에게 보여 줄 서비스와 문구를 선택했다.

Q: 클릭률만으로 추천 소재의 성과를 판단하면 왜 부족한가?

높은 클릭률이 반드시 유효한 사용자 경험이나 후속 전환을 뜻하지 않기 때문이다. 발표에서는 클릭 후 2초 이내에 이탈한 사용자를 유효 클릭으로 보지 않았으며, 다음 퍼널로 이동했는지와 사용자 피드백, 소재 건강 지수를 함께 평가해야 한다고 설명했다.

Q: 추천 소재의 낚시성 문구와 다크 패턴은 어떻게 줄였는가?

어드민에서 문구 입력을 마치면 토스의 톤앤매너, 낚시성 여부, 서비스 맥락과의 연결성을 검사하도록 했다. 이미지와 문구의 연결성도 살피고, 소재를 본 사용자에게 무작위로 피드백을 받아 건강 지수로 점수화해 각 서비스 팀에 제공했다.

Q: 추천 지면의 건강 지수는 무엇을 판단하기 위한 지표인가?

건강 지수는 클릭률 하나가 아니라 사용자 피드백과 소재 품질 정보를 종합해 해당 소재가 실제로 유효한지를 판단하기 위한 개념이다. 팀은 이를 2초 이내 이탈, 후속 퍼널 이동, 전환 사용자 속성과 함께 제공해 다음 캠페인을 더 적절하게 설계하도록 지원했다.

Summary & Key Takeaways

• 연결 단계에서는 각 제품 팀이 개별적으로 운영하던 서비스 추천 지면을 공통 흐름으로 묶었다. 인텔리전스 어드민과 노출 로직을 SDK로 제공했지만 공지만으로 도입되지 않자, 팀별 목표와 트래픽을 분석해 직접 영업하고 설치와 온보딩까지 지원했다. 그 결과 약 50개 지면이 연동됐다.

• 유량 단계에서는 소재 관리와 지면 성과라는 서로 다른 목적에 집중하도록 팀을 인텔리전스 매니저와 인벤토리 그로스로 나눴다. 전자는 실제 캠페인을 운영하며 등록 경험을 개선해 하루 등록 소재를 약 100개에서 500개로, 노출 소재를 900개에서 4,000개로 늘렸다.

• 질 관리 단계에서는 CTR만 높이는 운영이 낚시성 문구, 방치된 소재, 휴먼 에러를 만들 수 있다는 문제를 다뤘다. 다크 패턴 문구 검사, 이미지와 문구의 연결성 검토, 사용자 피드백 기반 건강 지수, 2초 이내 이탈과 후속 퍼널 지표를 함께 활용해 소재의 실질적 가치를 판단했다.