[ChatGPT] API, 주요 파라미터 이해하기

ChatGPT, 정확하게는 OpenAI의 GPT 파라미터 API는 다양한 설정값이 존재합니다. 그리고 계속 버전업이 되면서 새로운 파라미터들이 추가되고 있습니다. 오늘 포스팅에 작성할 내용은 그 중에서 가장 기본적으로 핵심적인 파라미터를 설명하고, 예시를 통해 이해보도록 하겠습니다.

 

[ChatGPT] API, 주요 파라미터 이해하기

---

Chat API

GPT의 Chat 버전을 사용하기 위해서는 다음과 같은 API를 호출해야 합니다.

POST https://api.openai.com/v1/chat/completions

 

위와 같은 API Url을 Post로 호출하고, Request Body 들을 추가로 넣어줘야 하는데요. 주요 파라미터는 다음과 같습니다.

 

주요 파라미터	내용	예시
model	GPT 모델 선택	gpt-3.5-turbo
messages	GPT에게 문의할 내용을 입력한다	{ "role":"user", "content":"안녕" }
temperature	샘플링의 온도로 0~2 사이, 값이 낮을수록 집중적인 답변	2.0
top_p	확률 질량이 top_p인 토큰의 결과 고려 (0~1)	0.9
max_tokens	채팅 완료 시 생성할 최대 토큰 수	512

 

 

위 파라미터는 ChatGPT API를 사용하기 위한 가장 기본적인 설정들이라고 보시면 됩니다. 여기에 더해서 JSON과 같은 구조로 내릴 수 있는 Request라든지, 동인한 줄을 그대로 반복할 가능성을 줄인다던지 많지만, 상당수 많은 부분들은 Default값을 그대로 사용하는 경우가 많습니다.

 

이 주요 파라미터를 보게 되면 많은 부분들은 이해가 될테지만, 2가지인 Temperature와 Top_p의 내용이 무슨 말인지 잘 이해가 안될 겁니다. 저 역시 GPT API를 처음쓰는 초반에는 이해를 못해서, 디폴트값으로 개발을 진행하곤 했었는데요. 저의 초반 삽질을 방지하고자, 이 파라미터들은 무엇이고 어떤 변화가 있는지 알아보도록 하겠습니다.

 

 

Temperature 파라미터

우선 온도(Temperature) 파라미터부터 설명해 보겠습니다. 예를 들어 "이 XXX은(는) 귀엽다"라는 단어가 있다고 가정을 해보겠습니다. 이때 XXX에 들어갈 단어는 강아지가 될 수도 있고, 고양이가 될 수도 있고 심지어 "강호동"이 될수도 있습니다. 문맥상 전혀 이상하지 않기 때문에 이 강호동은 귀엽다가 들어와도 문제가 없는 것이죠. 

 

Temperature 파라미터는 바로 이 단어의 확률 분포를 조절하게 됩니다. 각각의 단어들은 들어갈 확률이라는 것이 존재하지만, 이 파라미터가 커지면 커질수록 단어들의 확률이 동등해지기 시작합니다. 반대로 값이 낮아지면 확률이 큰 단어를 선택하게 되는 것입니다.

 

Top_p

Top_p는 이전 단어들을 바탕으로 생성한 후보 중에서, 누적 확률 분포의 상위 p%에 해당하는 후보들을 선택하는 기법입니다. 예를 들어, top_p가 0.9이면 누적 확률 분포의 상위 90%에 해당하는 후보들을 선택합니다. 

 

마찬가지로 이 XXX은(는) 귀엽다를 예로 들었을 때, 들어간 단어의 값들의 확률을 기반으로 정렬한 후, 상위 50%의 단어들만 사용하고 싶을 경우 0.5를 주면 되고, 0.9를 주게 되면 상위 90%의 단어들을 사용하니 극히 드문 단어를 제외하고 대부분의 단어를 사용하게 됩니다. 반대로 0.1을 주면 일반적으로 예측할 수 있는 단어가 나올 겁니다.

 

Temperatur 및 Top_p 사용 예시

사용 사례	Temperature	Top_p	설명
코드 생성	0.2	0.1	코드는 창의적이면 안되기 때문에 확립된 패턴과 규칙을 준수하는 값을 만들어내야 합니다. 이를 위해서 Temperature와 Top_p의 값을 낮춰야 잘 동작하는 코드를 생성해낼 수 있습니다.
창작	0.7	0.8	스토리텔링을 위해서 창의적이고 다양한 텍스트를 생성합니다. 창작을 위해서는 보다 다양한 단어들과 표현이 필요하기에 Temperature와 Top_p의 값을 높게 설정합니다.
챗봇 응답	0.5	0.5	챗봇은 일관성과 다양성의 균형을 유지하기 위해서 두개의 값을 조화롭게 설정합니다.

 

그럼 한번 위 예시를 기반으로 직접 ChatGPT에게 호출해봐서 결과가 어떻게 다른지 확인해보겠습니다.

 

 

Temperatur 및 Top_p별 결과 차이 비교 분석

질문 : 일론 머스크는 앞으로 어떻게 될 것 같아?

 

top_p=0.1, temperature=0.1

일론 머스크는 현재로서는 많은 프로젝트와 기업을 운영하고 있으며, 그의 비전과 열정은 계속해서 성장할 것으로 예상됩니다. 테슬라, 스페이스X, 뉴럴링크 등의 기업들은 혁신적인 기술과 아이디어를 통해 성공을 거두고 있으며, 일론 머스크는 이러한 분야에서의 리더십을 유지하고 있습니다.

앞으로 일론 머스크는 전기 자동차 및 재생 에너지 분야에서의 혁신을 이어갈 것으로 예상됩니다. 테슬라는 전기 자동차 시장에서 선두주자로서의 지위를 강화하고 있으며, 일론 머스크는 더 나은 배터리 기술과 자율주행 기술을 개발하여 이 분야에서의 혁신을 이끌어낼 것으로 기대됩니다.

또한, 스페이스X는 우주 탐사와 우주 여행 분야에서의 혁신을 추구하고 있습니다. 일론 머스크는 화성 탐사와 인류의 다중 행성 생활을 실현하기 위한 노력을 계속할 것으로 예상됩니다.

뉴럴링크는 인간과 컴퓨터 간의 인터페이스 기술을 개발하는 분야에서 선도적인 위치를 차지하고 있습니다. 일론 머스크는 뇌-컴퓨터 인터페이스 기술을 통해 인간의 인지 능력을 향상시키고 질병 치료에 도움을 줄 수 있는 가능

 

 

top_p=0.5, temperature=0.5

일론 머스크는 현재로서는 많은 사업을 진행하고 있으며, 테슬라, 스페이스X, 뉴럴링크 등 다양한 분야에서 혁신적인 기술과 아이디어를 제시하고 있습니다. 그의 비전과 열정은 미래에도 계속해서 혁신적인 변화를 이끌어낼 것으로 예상됩니다.

테슬라는 전기차 시장에서 혁신적인 기술과 디자인을 선보이며 성장하고 있으며, 스페이스X는 우주 탐사와 우주 여행 분야에서 선도적인 위치를 차지하고 있습니다. 또한, 뉴럴링크는 인간과 컴퓨터 간의 인터페이스 기술을 개발하여 인간의 뇌 기능을 향상시키는 연구를 진행하고 있습니다.

일론 머스크는 미래에도 새로운 분야와 기술에 도전할 것으로 예상되며, 인공지능, 에너지 저장 기술, 우주 개발 등 다양한 분야에서 혁신적인 아이디어를 제시할 것으로 예상됩니다. 그의 비전과 열정은 계속해서 혁신과 변화를 이끌어낼 것으로 기대됩니다.

 

top_p=0.9, temperature=2.0

일론 머스크는 현재로서도 이미 혁신적인 기업가로 인정받고 있으며, 다양한 분야에서 엄청난 영향력을 발휘하고 있습니다. 그는 테슬라, 스페이스X, 솔라시티 등의 회사를 창립하고 지도하여 혁신적인 기술과 비즈니스 모델을 개발하고 있습니다.

앞으로 일론 머스크는 스페이스 산업을 통해 우주 여행과 행성 개척을 위한 노력을 계속할 것으로 예상됩니다. 그는 이미 인류의 첫 번째 사설 우주 비행사를 보냈으며, 향후에도 우주 여행을 대중화하고 지속 가능한 우주 개척을 위해 노력할 것으로 보입니다.

또한 일론 머스크는 지속 가능한 에너지와 전기자동차 시장에 큰 영향을 주고 있습니다. 테슬라는 현재 세계에서 가장 인기있는 전기 자동차 브랜드 중 하나이며, 일론 머스크는 전기자동차 산업의 선도적인 인물 중 한 명입니다. 그는 전기자동차의 인프라와 기술 발전을 촉진하고 더욱 발전된 환경을 위해 노력할 것으로 보입니다.

또한 인공 지능과 뇌-컴퓨터 인터페이스 등의 분야에서도 일론 머스크는 혁신을 이끌어내고 있습니다. 그의 뇌-컴퓨터 인터페이스 회사인 뉴럴링크

 

확실히 설정값이 높아지면, 좀 더 문장이 딱딱하지 않고 자유로운 느낌이 강합니다. 다만 질문이 워낙 예측 가능한 말이기 때문에 이번에는 예측하기 힘든 질문을 던져보도록 해보며, 극단적인 비교를 위해 가장 낮고, 가장 높은 값만 비교해보도록 해보겠습니다.

 

 

질문 : 현재 미국과 중국은 패권전쟁을 계속 진행하고 있어, 각 나라별로 연합을 만들려는 것처럼 보여. 앞으로 30년 후에는 어떻게 될 것 같아?

 

top_p=0.9, temperature=2.0

미국과 중국 사이의 경쟁과 패권전쟁은 미래에도 계속될 것으로 예상됩니다. 앞으로 30년 후에는 다음과 같은 가능성들이 있을 수 있습니다:

1. 경제적 균형: 중국은 이미 경제적으로 미국을 따라잡고 있으며, 앞으로 더 성장할 것으로 예상됩니다. 이로 인해 경제적 균형을 유지하기 위한 노력이 더 중요해질 것으로 예상됩니다.

2. 기술 및 과학 분야에서의 경쟁: 미국과 중국은 기술 및 과학 분야에서의 우위를 얻기 위해 계속 경쟁할 것입니다. 인공지능, 사물인터넷 등의 혁신 기술은 미래에 중요한 역할을 할 것으로 예상됩니다.

3. 지역 간 영향력 싸움: 미국과 중국은 아시아 지역을 중심으로 서로의 영향력을 넓히고자 할 것입니다. 두 나라 모두 아시아지역을 중요한 시장으로 보고 있으며, 그 영향력 확대를 위한 경쟁이 예상됩니다.

4. 국제적 협력의 필요성: 앞으로 미국과 중국은 패권전쟁의 영향으로 인해 다른 나라들과의 협력을 더욱 강화해야 할 것입니다. 국제적인 협상과 조정이 필요하며, 미국과 중국 모두는 다른 나라들과의 협력을 강화할 필요성을 인지하게 될 것입니다.

 

 

top_p=0.1, temperature=0.1

미국과 중국 사이의 패권전쟁은 현재도 계속 진행 중이지만, 앞으로 30년 후에는 상황이 어떻게 전개될지 정확히 예측하기는 어렵습니다. 그러나 몇 가지 가능성을 살펴볼 수 있습니다.

첫째, 경제적으로 중국은 계속해서 성장할 것으로 예상됩니다. 중국은 이미 세계에서 가장 큰 경제 규모를 가지고 있으며, 앞으로도 이러한 경향이 지속될 것으로 예상됩니다. 따라서 중국은 미국과의 경제적 영향력 경쟁에서 강세를 보일 수 있습니다.

둘째, 미국과 중국은 미래에도 군사적인 갈등을 유지할 가능성이 있습니다. 양국은 이미 군사력을 강화하고 있으며, 지역적인 영향력을 넓히려는 시도를 하고 있습니다. 이러한 경쟁은 앞으로도 계속될 수 있으며, 군사적인 충돌의 위험도 존재할 수 있습니다.

셋째, 국제사회에서의 중국의 역할은 더욱 중요해질 것으로 예상됩니다. 중국은 이미 국제기구에서 더 큰 영향력을 행사하고 있으며, 앞으로도 이러한 영향력을 강화할 것으로 예상됩니다. 이는 미국과의 갈등을 더욱 복잡하게 만들 수 있습니다.

마지막으로, 미국과 중국은 현재의 갈등을 해

 

 

조선시대 선비 아이유에 대해서 알려줘

위와 같은 엉뚱한 질문을 던졌을 때 둘간의 반응이 궁금하였습니다.

 

top_p=0.1, temperature=0.1

조선시대의 선비인 아이유에 대해서 알려드리겠습니다.

아이유는 조선시대의 선비로서 활동한 인물이 아닙니다. 아이유는 현대 대한민국에서 활동하는 가수이며, 배우로도 활동하고 있습니다. 그녀의 본명은 이지은이며, 1993년 5월 16일에 태어났습니다.

조선시대의 선비는 문과를 공부하여 어학, 문학, 역사 등 다양한 분야에서 지식을 갖추고, 정치, 사회, 문화 등에 영향력을 행사하는 인물을 말합니다. 선비들은 고려시대의 문인들과 달리 사대부(士大夫)라는 계급에 속하며, 양반(良班)이라고도 불렸습니다. 선비들은 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고려시대의 문인들과 달리 고

 

top_p와 temperature의 값이 낮을 경우 문장의 생성이 매끄럽지 못하다는 것을 알 수 있는데 이는 아무래도 선택해야 될 단어의 수가 적기 때문이 아닐까 생각되어 집니다.

 

 

top_p=0.9, temperature=2.0

아이유라는 인물은 실제로 조선시대의 인물이 아니라는 점을 미리 알려드리며, 그렇지만 아이유는 \"시와 한시문, 글짓기 등 예술적인 표현에 능하며 지식이 풍부한 인재\"를 의미하는 '선비'로 불린다는 뜻에서 착안하여 그림이나 판화, 드라마, 소설 등에서 이용되곤 합니다.

조선시대에는 '성시(城詩)'라는 선비들의 문인층이 형성되어 있었습니다. 성시들은 정치·군사, 예술·문학 등 다양한 분야에서 활약하였으며, 고도한 교양과 재능을 가지고 있었습니다. 그들은 경시(京詩)라고 불리는 한시시조를 작성하거나 문인사로 유명한 작품을 지었습니다.

아이유는 현대 가요계의 대표적인 가수이며, 실제로 선비라는 문화적 의미와 관련은 없지만, 그녀의 예술적인 표현력과 재능은 현대 선비와 유사한 면을 가지고 있다고 평가받습니다. 그녀는 가수로서 다양한 음악 장르를 소화하며 인기를 끌었을 뿐만 아니라, 작사, 작곡, 연기, 호스트 등 다양한 분야에서도 활동하고 있습니다.

또한, 아이유는 소속사나 가수로서의 스케줄과 별개로 사회적으로도 활동하고 있습니다. 예를 들

 

확실히 말도 안되는 질문을 넣으니, 둘간의 차이가 확실히 나는 것 같습니다. 값을 낮출 경우 헛소리를 하지 않지만 글이 매끄럽지 않다는 것을 알 수 있는 반면, 값을 높일 경우 위와 같이 말도 안되는 헛소리가 중간중간 섞여 있습니다. 다만 어떻게든 말을 만들어내려고 하는 노력이 보이는 것 같아 확실히 값을 높일수록 좀 더 창의력이 필요한 서비스에 적용하는 것이 좋아 보입니다.

 

 

극단적인 예시지만 이처럼 temperature와 top_p는 내가 어떤 서비스를 만들어야 하는가에 따라서, 설정을 달리하는 것이 중요합니다. default값을 써도 ChatGPT 자체가 영특하니 큰 문제가 없겠지만, 위와 같은 튜닝 시도 정도는 해보는 것이 바람직하며 현대의 인공지능 개발자에게 필요한 역량 중 하나가 아닌가 싶네요.

 

참고자료

[1] OpenAI API-reference, https://platform.openai.com/docs/api-reference/chat/create

[2] OpenAI Cummunity, Mastering Temperature and Top_p in ChatGPT API

[3] 서울디지털재단, ChatGPT 활용사례 및 활용 팁