LLM에게서 지식을 끄집어낸다?

LLM은 모르는데도 대답해 준다거나, 아는데도 대답해주지 않는다.

 

그래서 등장한게 프롬프트 엔지니어링이라는건데, 요컨데 특정 전문가의 입장에서 대답해달라거나, 해야 할것과 하지 말아야 할 것들에 대해 알려주면, 의도한 답변을 들을 수 있다는 것이다.

 

그런데 매번 그럴 순 없다. 챗 형식으로 꾸역꾸역 물어가면서 그건 아니라고!! 라고 매번 혼낼 수는 없는 일이다. 

 

그러다 보니 그 과정을 자동화 하는 연구들이 보인다.

 

알아서 이런 저런 관점을 만들고, 그 관점으로 대답을 듣고, 그 답변들을 모아 구조화 하고, 그 구조를 이용한 답변으로 이어진다면, 꽤나 단단한 답변을 들을 수 있다.

 

이런 저런 관점을 만들어내는 과정은 폭발이라고 부르던데, 관련 질문들을 형성한다거나, 다양한 페르소나나 테마를 기준으로 답변을 이끌어내는 식이다.

 

답변들의 구조화는 지식 그래프 형태로 구성한다거나, 임베딩 공간을 활용하는 식이고,

 

활용은 지식 그래프의 구조적 특징, 예를 들면 클러스터 별로 정렬한다거나 클러스터 사이를 잇는 대답을 갖고온다거나, 임베딩 공간에서의 특징을 갖고 답변으로 가져올 순위를 매기는 식이다.

 

그니까 뭐든 알고 있는 사람이 있다면, 우리는 이런식으로 대화해야한다는건데... 약간 기도와 계시 같기도 하고ㅎㅎ

 

그런데 다만 그 모든 아는 사람이 나는 잘 모른다는 게 이 모든 문제의 시작인데, 생각해보면 나는 나를 잘 아나?

 

내가 듣고 싶은 답변이란 무엇이란 말이냐. 내가 알고 있는 거기도 하면서 내가 모르는 거였으면 좋겠다는 그 지점. 거길 긁어줘야 된다는건데 이게 참 심오하다.

 

정해졌다기 보단 만들어 나가는 부분이라는 게 요즘 드는 생각이다.