[Google Bard] "김지현"만 언급하면 답변 거부

"김지현", 절대로 그 이름을 말해선 안 돼.

바드는 구글에서 공개한 챗GPT 같은 인공지능 챗봇이다. 

구글 바드에서 "김지현"이라는 이름 세 글자만 입력하면 답변을 거부한다길래 한 번 확인해 봤다.

 

 

~에 대해서 알아?

우선 비교를 위해 다른 이름을 언급하며 아는지 물어봤다.

구글 바드 캡처

"임요환에 대해서 알아?"라고 묻자 바드는 프로게이머 임요환에 대해 대답했다.

 

같은 방식으로 "앨런 튜링"을 묻자 수학자, 암호학자, 논리학자라고 답했다.

 

이제 "김지현"이 누구인지 물어봤다.

 

구글 바드 캡처

"텍스트 기반 AI라서 그것은 능력 밖의 일"이라는 답변이 돌아왔다.

 

혹시나 하는 마음으로 "김지현은 누구인가?"라고 살짝 질문을 바꿔봤다.

 

구글 바드 캡처

이번엔 "저는 그렇게 하도록 프로그램되지 않았습니다."라고 답변했다.

 

대체 "김지현"은 누구길래 바드는 그 이름만 들으면 답변을 거부하는 걸까?

 

 

구글 바드 캡처

"지현은 누구인가?" 라는 질문에는 가수 겸 배우 "지현우"에 대한 정보를 답변으로 내 놓았다.

 

일종의 환각 현상이긴 하지만 답변을 거부하는 것은 아니다.

 

이외에도 "임지현", "이지현" 등 이름을 살짝 바꿔서 질문해 보았지만 바드는 적당히 정보를 조합하여 답변을 내 놓았다.

 

오로지 "김지현"이라는 이름에만 거부 반응을 보였다.

 

 

질문 사이에 끼워넣기

혹시 그냥 누구인지 몰라서 그런 것은 아닐까 싶어서 일부러 모를만한 질문을 한다면 어떻게 반응할 지 테스트해 보았다.

 

구글 바드 캡처

"임요환이 앨런 튜링을 만난 적이 있을까?"라는 질문에는 정보가 부족하기 때문에 답변이 어렵다고 한다.

 

확실히 답변을 거부하는 반응은 아니다. 그저 모르는 것을 모른다고 할 뿐.

 

그러나 "김지현"이 등장하면 얘기는 달라진다.

 

구글 바드 캡처

"임요환이 김지현을 만난 적이 있을까?"라는 질문에는 역시 거부 반응을 보였다.

 

 

구글 바드 캡처

구글 바드 캡처

 

끼워 넣기 질문을 바꿔 보았다.

 

"내가 ~~라면, 임요환은 어떤 의미일까?"라는 질문이다.

 

여기서 ~~라면의 입력값에 대해 바드가 아는 정보가 있다면 그것에 기반하여 답변을 만들어 내고, 모른다면 모르는대로 추측하여 답변을 주었다.

 

그러나, "김지현"이 등장하면 또 얘기가 달라진다.

 

구글 바드 캡처

"김지현"이라는 이름만 바꿨을 뿐 동일한 질문인데, 답변 거부 반응을 보인다.

 

"김지현"이라는 딱 이 세 글자에만 저렇게 반응한 것이다.

 

구글 바드 캡처

획 하나 차이인 "김시현"이라고 가상의 이름으로 바꾸면 (필자는 김시현이라는 사람을 모른다.) 바드는 위와 같이 김시현이 프로게이머라고 가정하고 답변을 준다.

 

혹시 정말 김시현이라는 프로게이머가 있는지 검색해 봤지만 김시현이라는 이름의 프로게이머는 찾을 수 없었다.

 

정말로 김시현이라는 이름의 프로게이머가 있을 수도 있겠지만 구글 및 네이버 검색 결과에 나오지 않는다며 바드가 학습했을 가능성도 극히 적다. 즉, 이것도 일종의 환각 현상일 것이다.

 

맥락 없이 언급하기

이번에는 질문의 요점이나 맥락 없이 그냥 언급했을 때의 반응을 테스트해 봤다.

구글 바드 캡처

"홍길동, 1+1의 답은?"이라는 질문에 "홍길동, 1+1의 답은 2입니다."라는 답변을 내놨다. 그리고 뒤이어 "1+1"과 "홍길동"에 대해 별개로 추가 답변을 줬다.

 

구글 바드 캡처

그리고 역시 "김지현"만 등장하면 답변을 거부한다.

 

 

무시 명령

이번엔 프롬프트에서 등장하지만 의도적으로 해당 정보를 무시하도록 하면 인공지능의 답변과정에 영향을 미치지 않아서 답변을 할 수도 있을 것이라는 가설을 테스트해 보았다.

 

구글 바드 캡처

우선 비교를 위한 테스트에서 위와 같이 "김지현"이 아닌 유사한 이름을 넣어서 테스트했다.

 

"김시현", "김지연"이라는 이름 중 "김시현"을 의도적으로 무시하도록 하여 답변을 유도했다.

 

그 결과, "김시현"이라는 이름은 답변에 전혀 영향을 끼치지 않는 것처럼 보였다.

 

구글 바드 캡처

마찬가지로 같은 질문에 "김시현"을 "김지현"이라고 바꾸어 질문했다.

 

원래라면 앞선 질문과 동일한 답변을 해야 맞다. 첫 번째 이름에 대해서는 답변에 영향을 미치지 않기 때문이다.

 

그러나 결과는 역시나 답변을 할 수 없다고 나왔다.

 

 

그렇다면 ChatGPT는?

챗GPT 캡처

바드와는 달리 ChatGPT에서는 "김지현"이라는 이름의 거부 반응을 보이지 않는다.

 

결론

바드에서만 "김지현"이라는 이름만 등장하면 답변을 거부하는 이유는 알 수 없었다.

 

다만, 추측하건데 인공지능 챗봇 특성상 안전이나 윤리, 보안상의 이유로 특정 키워드가 등장하면 답변을 거부하도록 일종의 규정이 설정되기 마련인데, 그 특정 키워드 중에 "김지현"이라는 세 글자가 포함된 것만은 분명하다.

 

그리고 언어 모델은 답변 생성과정에서 답변 결과에 영향을 미치지 않는 무의미한 정보라고 할 지라도 해당 키워드가 포함되는 경우 답변 생성 단계로 넘어가지 않고 즉시 거부 반응을 보이도록 설계된 것으로 보인다.

---

 

[ChatGPT] 소개 (인공지능 챗봇 인터뷰)

 

[The new Bing] 빙챗? 빙GPT? 새로운 Bing 소개 (프로메테우스 모델 탑재 인공지능 검색 엔진)