구글 Bard의 차세대 LLM 모델 PaLM2

최근 제2의 알파고라 불릴 만큼 AI에 대한 관심을 키우고 발전성을 느끼게 한 Chat GPT!

구글에서는 이에 Bard를 내놓았지만 ChatGPT에 밀려 주가가 떨어지는 현상까지 불러일으키며 AI가 기업의 핵심 기술 중 하나라고 느끼게 했습니다.

하지만, 그렇다고 ChatGPT가 Bard보다 뛰어날까요?

ChatGPT와 Bard 등은 LLM모델(Large Language Model)을 사용자들이 쓰기 좋게 후작업한 것으로, 후작업을 많이 하면 할수록 사용자에게 더 좋은 결과와 편의성을 제공하게 되기 때문에 내부 모델의 성능을 보고 비교, 판단하는 것이 더욱 정확합니다. 

하지만 우리가 많이 들어본 ChatGPT와 Bard, Bing AI까지, 다양한 AI 기반 프롬프트가 어떤 모델로 만들어졌는지 아시나요? 

구글에서는 PaLM 모델을 사용하여 Bard를 만들었는데, 대중의 평가에서 ChatGPT에 비해 부족하다는 평을 듣고 23년 5월 15일 구글은 새로운 차세대 LLM모델인 PaLM2 모델을 공개했습니다.

그럼 기존의 PaLM1에 비해 얼마나 변화하고 발전했는지 알아볼까요~!

AI 사고능력 평가 항목 득점 결과

다음 표는 사람처럼 사고할 수 있는지 평가하고 각 항목에 대한 점수를 표기한 표입니다.

몇몇 항목에서는 CahtGPT보다 뛰어나거나 다른 모델보다 독보적으로 높은 점수를 받은 항목도 있다고 소개하고 있습니다.

코딩 능력 향상

공식 tech report를 보면 다음과 같이 기존 모델보다 월등히 향상된 코딩능력을 갖게 되었다고 소개합니다.

다국어 데이터 추가

기존의 PaLM1 모델보다 다국어 데이터를 많이 넣어 100개 이상의 다양한 언어를 지원하며,
스와힐리어 아이티어 등 학습데이터가 비교적 적은 언어에도 좋은 성능을 낸다고 합니다.

그리고 외국어 시험등 언어 시험에도 PaLM1에 비해 고득점을 내고 있습니다.

심지어 코드를 작성하면 한국어로 주석을 달아주기도 한답니다!

그러나, PaLM2는 웹문서, 책, 코드, 대화내용 등을 학습 데이터로 사용하는데 

인종차별이나 공격적인 답변이 있다는 후기가 있어 추가적인 악성글 검열 등이 필요할 것 같습니다.

파라미터 감소

파라미터 감소가 왜 중요할까요?

경쟁사인 ChatGPT를 예로 들어보겠습니다.

ChatGPT는 3.5 버전에서 1회 호출 시 비용이 $0.002에 비해 ChatGPT 버전 4는 10배나 비싼 $0.03입니다.

왜냐하면 GTP4의 파라미터는 1조 개 정도 되는데 이 모델을 가동하기 위해선 그만큼 컴퓨팅 파워가 필요하고 이는 바로 비용으로 직결되기 때문입니다.

그리고 파라미터가 많아 모델이 무거워지면 그만큼 응답속도 또한 느려지게 됩니다.

 

반면에 PaLM2는 5400억 개의 파라미터로 구성되어 있어 비용절약과 빠른 응답이 가능합니다.

다양한 응용 모델

Sec-PaLM2

개발자가 작성한 코드에 대한 보안을 평가해 주는 모델

Med-PaLM2

의료, 보건 지식을 기반으로 만들어져 의사를 보조하는 모델

Google MakerSuite

AI의 프롬프트를 어떻게 사용하느냐에 따라 결과의 퀄리티가 매우 달라집니다.
현재 프롬프트 명령어를 공유하는 사이트가 활발히 운영되고 있으며 몇몇 프롬프트 엔지니어는
자신의 프롬프트 명령어를 판매, 컨설팅을 통해 수익을 창출하고 있습니다.

구글은 일반인도 간편하게 프롬프트 명령어를 배울 수 있고 사용할 수 있도록 해주는 프로그램도 선보이고 있으니 관심 있으신 분들은 사용해 보시는 것을 추천드립니다.

출처 :
palm2techreport.pdf
https://korea.googleblog.com/