[CES 2024 LG] Content curation with AI (SpaceVision)

직접 가보지는 못했지만 여러 채널을 통해 간접적으로 CES 2024를 체험해 볼 수 있었는데, 이 중 인상 깊었던 내용이 있어서 기록으로 남겨두고자 한다.

---

 

Content curation with AI

[사진1] 유튜브 "오목교 전자상가" 채널 영상 캡처

스브스뉴스의 유튜브 "오목교 전자상가" 채널을 통해 LG전자 부스를 보던 중 Content curation with AI라는 기술이 등장했다. (출처 링크)

해당 영상 6분 30초부터 약 1분 간 해당 기술에 대해 설명해 준다.

 

벽면에 적힌 설명을 보면 Content curation with AI란, SpaceVision을 활용하여 고객 행동 인식 AI를 기반으로 콘텐츠 큐레이션 및 분석 솔루션이라고 한다.

 

카메라를 통해 해당 구역의 방문자 인구 통계를 분석하고 분석 결과를 바탕으로 맞춤형 콘텐츠를 제공한다. LG의 콘텐츠 관리 솔루션과 함께 사용하면 효과적으로 광고 플랫폼을 구축하여 새로운 수익을 창출할 수 있다고 설명하고 있다.

 

인구 통계 분석

[사진2] 유튜브 "오목교 전자상가" 채널 영상 캡처

 

• Live Gender Ratio: 현재 화면에 보이는 방문객의 성별 비율을 보여주고 있다.
• For Today (Male / Female): 각 성별에 따른 누적 방문객 수를 보여주고 있다.

[사진3] 유튜브 "오목교 전자상가" 채널 영상 캡처

이러한 분석 결과를 통해 성비에 따른 맞춤 광고를 재생하도록 하는 방식이다.

 

예를 들어 현재 남성 비율이 높다면 남성들이 관심 있어 할 만한 브랜드나 상품의 광고를 노출하는 방식이다.

 

 

Attention Metric

[사진4] 유튜브 "오목교 전자상가" 채널 영상 캡처

해당 영상 설명에서는 사람들이 노출되는 광고 중 어떤 광고를 더 많이 보는지 확인하여 사람들이 더 많이 보는 광고를 주로 띄워 주는 것까지 하나의 솔루션으로 제공한다고 한다.

 

 

적용된 기술

이제부터는 해당 영상에서 설명하지 않는 부분이지만, 보이는 것을 토대로 추측한 내용이다. 위와 같은 솔루션을 제공하기 위해서 아래와 같은 기술이 적용됐을 것으로 보이며 이는 해당 영상에 시각화된 내용으로도 충분히 추측이 가능한 부분이기도 하다.

 

Object Tracking: 성별 구분 및 누적 방문객 수 확인에 활용

성별 구분

Object Tracking은 Object Detection이 선행된다. 이 Object Detection 단계에서는 남성과 여성의 사진을 학습한 모델로 성별을 구분하였을 것으로 보인다.

 

이러한 결과는 일반적으로 바운딩 박스를 그려 시각화하지만 해당 영상에서는 바운딩 박스 시각화는 생략된 것으로 보인다. 다만, 각 사람마다 "Male" 혹은 "Female"이라는 클래스명이 노출되어 있고 그에 따른 Confidence Score가 각각 시각화되어있다.

 

누적 방문객 수

이후 Tracking 단계에서는 이전 Frame과 비교하여 각각의 Detection결과 ID를 매칭하여 현재 프레임의 해당 Object가 이전 Frame의 Object와 동일한 Object인지 구분한다.

 

해당 성별 클래스명 위에는 숫자가 보이는데 이것이 바로 각각의 ID를 표현한 것으로 추정된다.

 

이렇게 매 프레임마다 Detection 된 사람들 중 Tracking기술을 통해 동일인물 여부를 확인하여 누적 방문객의 숫자를 세는 방식으로 보인다.

 

 

Head Pose Estimation: 광고 시청 여부 확인용

각 사람의 얼굴 부분을 보면 바운딩 박스와 함께 중앙에 빨간색, 파란색, 녹색의 세 가지 선이 서로 다른 방향으로 뻗어 있는 것이 보인다.

 

각각의 선은 해당 얼굴의 XYZ 축 방향을 가리키는 것으로 Head Pose Estimation 기술이 적용된 것이다.

 

이는 "gaze"라는 항목으로 3축의 각도값을 시각화해서 보여주고 있다.

 

이렇게 얻은 바운딩 박스의 위치 정보와 얼굴이 향하는 각도값을 기반으로 해당 인물이 광고를 주시하고 있는 가를 판별하는 것이다.

 

이러한 결괏값은 그대로 Attention Metric에 활용되는 것이다.

 

 

Human Pose Estimation: 방문객 행동 분석용

해당 부스에서 시연하고 있는 Content Curation이라는 목적에 활용되는 기술은 아닌 것으로 보인다. 그래서인지 영상에서도 관련 기술이 적용될 만한 기능에 대해 설명하지도 않았다.

 

그러나, 모니터 화면에는 분명하게 사람의 팔다리 모양에 맞추어 Human Pose Estimation 결과가 시각화가 되어 있는 모습을 볼 수 있다.

 

그래서 찾아보니 SpaceVision에서 이를 통해 방문객이 현재 어떤 행동을 하고 있는지 판별하는 목적으로 활용하고 있었다. 해당 인물이 물건을 고르는 중인지 계산을 하는 중인지 등을 인식하여 이에 맞춘 별도의 솔루션을 제공할 목적인 것이다.

 

다만, CES 부스에서는 이를 활용할 만한 환경이 구성되어 있지 않아서 따로 설명이나 표시가 없었던 것 같다.

 

 

아쉬운 점

인식 정확도

아직 정확도면에서 많이 떨어지는 모습을 보이는 것은 아쉬웠다.

 

예를 들면 아래와 같은 점들을 발견했다:

• 부스 내에 27명 이상의 사람이 보이지만 그중 11명만 인식하는 장면이 있었다.
• 그 11명 중 남성이 3명, 여성이 8명으로 보이지만 추론 결과는 정 반대인 남성 8명, 여성 3명으로 인식하는 장면이 있었다.
• 긴 생 머리의 눈썹 및 입술 화장이 도드라지며, 치마를 입고 있는 여성을 남성으로 인식한 장면이 있었다.

 

논리의 비약

얼굴의 각도만으로 그 사람이 광고를 바라보고 있다는 것은 다소 비약이라고 생각한다.

 

한 사람이 광고를 바라보고 있다고 판단하기 위해서는 그 사람이 서 있는 위치와 시선의 높이, 광고물과의 거리, 눈동자가 향하는 방향 등이 추가로 고려되어야 할 것이다.

 

물론 해당 카메라가 Depth Camera 기능까지 있었을 수도 있지만 그래도 여전히 앞 서 언급한 요소들을 모두 충족할 수는 없다.

 

얼굴의 각도를 통해 광고를 바라보고 있을 확률이 높은 경우를 추려낼 수 있다는 점은 인정한다. 이러한 아이디어를 시작으로 더 정교한 모델이 개발될 테니 아주 좋은 시도라고 생각한다. 하지만 현재 수준에서는 아쉬운 점이 있는 것은 사실이다.

 

 

인상 깊었던 점

각각의 기술은 새롭지 않다. 몇 년 전부터 이미 여러 분야에서 활용되고 있는 기술들인데 이것들을 적절히 조합하여 맞춤 광고를 제공하는 솔루션으로 사용했다는 점이 인상 깊었다.

 

우리가 흔히 아는 맞춤 광고는 일반적으로 인터넷 쿠키를 활용한 것이 많다. 그리고 이러한 쿠키, 즉, 사용자의 기록 정보는 최근 들어 점점 민감해지는 요소이기도 하다.

 

일종의 개인 정보로써 보호받아야 하는 것으로 인식되어 최근에는 이런 데이터를 수집하지 못하도록 하는 추세이다.

 

구글이 2019년 쿠키 차단 테스트를 한 결과 500개 광고사의 매출이 평균 52% 감소한 것으로 나타났다고 한다.

 

그런데 이번 Content curation with AI는 이에 대한 새로운 대안이 되지 않을까 싶다.

 

물론 각각이 온라인 맞춤 광고와 오프라인 맞춤 광고라는 점에서 완전한 대안은 아니겠지만 그 시작점 정도는 될 수 있을 것 같다.

 

정리하자면, 최근 이슈가 되고 있는 맞춤 광고 관련 문제에 대한 새로운 대안이면서도 완전히 새로운 기술이 아닌 기존의 기술을 적절히 조합한 것이라는 점에서 좋은 인상을 받았다.

---