Llama3(라마3) 쉽게 사용해보기 (Feat. 올라마)
- LLM/그외 GPT
- 2024. 4. 30.
ChatGPT의 열풍이 거세지면서, 원조 트랜스포머(Transformer) 맛집들이었던 구글과 메타는 각각 ChatGPT에 대응하는 제미나이(GeminAi)와 라마(Llama)를 오픈하며 초거대 AI의 전쟁에 불이 붙고 있습니다. 여기에 MS가 ChatGPT와 독립한 버전인 Phi라는 LLM AI 모델을 또 내놓았고, 영리와 비영리 사이의 충돌로 인해 OpenAI 직원들이 퇴사하여 만든 스타트업인 앤트로픽에서 내놓은 클로드 모델까지 난리도 아닌 것 같네요.
국내에서는 네이버를 비롯하여 거대 기업들은 자체적인 LLM 모델을 만들거나 타기업과 연합하는 모습을 보이기도 하는데요. 여기서 사용해볼 라마는 최근 라마3(Llama3)를 내놓으며, 이제 작은 기업도 ChatGPT 3.5 정도 수준의 모델을 부담없이 장착할 수 있는 시대가 오지 않았나 생각합니다.
올라마(Ollama)
메타는 라마3를 공개하였기 때문에 누구나 받아도 상관이 없는데요. 개인이 쉽게 성능을 테스트하는 쉬운 방법중에 여기서는 올라마(Ollama)를 사용하여 테스트를 해보도록 하겠습니다.
올라마는 이름으로 인해, 라마를 사용하기 위한 무엇인가?라고 생각할 수 있는데요. 라마 뿐만 아니라 MS의 Phi, 미스트랄, Gemma(제미나이의 언어모델) 등 수많은 모델들을 매우 빠르고 쉽게 사용할 수 있는 도구라고 볼 수 있습니다.
Ollama
Get up and running with large language models.
ollama.com
위 공유한 올라마 사이트에 들어가면, 다운로드 버튼이 존재합니다. 이를 클릭하면, OS 플랫폼에 따른 다운로드 페이지로 들어가게 됩니다.
저는 회사 윈도우 컴퓨터로 실행을 해야 했기에 Windows를 선택하여 아래 활성화된 Download for Windows를 클릭하여 윈도우 전용 올라마를 다운로드 받았습니다.
받은 파일인 OllamaSetup을 실행하면, 아래와 같이 설치 프로그램이 실행되는데요. Install을 입력하여 설치합니다.
프로그램을 모두 설치하였다면, 정상적으로 설치가 되었는지 검색창에서 Ollama를 입력해 봅니다.
귀여운 라마의 얼굴이 정상적으로 설치가 되었다 반기는 것 같네요. 프로그램을 실행하면 아래와 같이 시스템 트레이 화면에 올라마 프로그램이 띄워졌다는 것을 알 수 있습니다.
라마3 모델 다운로드
올라마는 LLM 모델들을 쉽게 활용하기 위한 도구 같은 것입니다. 즉, 저희는 라마3 모델을 사용하기 위해서 올라마를 설치한 것 뿐이라는 겁니다. 본격적으로 라마3 모델을 사용하기 위해서는 올라마를 이용하여 라마3 모델을 다운로드 받을 건데요. 다시 올라마 웹사이트로 돌아가면, 우측 상단에 아래와 같이 Models라는 영역이 보일 겁니다.
해당 영역을 들어가면, LLM 모델들을 선택할 수 있는데요. 저희의 목적은 라마3이니 llama3를 선택합니다.
라마3을 선택하게 되면, 아래와 같이 모델을 선택할 수 있는 화면이 나오게 됩니다.
저희가 테스트 해봐야 될 건, 로컬에서 쉽게 설치하고 활용할 수 있는 8B 버전입니다.
메타의 설명에 따르면 8B는 GPT 3.5 수준의 성능을 내며, 70b는 GPT 4.0 수준의 성능을 발휘한다고 합니다. 3.5 정도만 되더라도 충분히 많은 서비스에 적용할 수 있기 때문에 기대를 안고 8B를 선택합니다.
8B 모델을 선택하면, 우측의 영역에 ollama run llama3:8b라는 말로 바뀐 것을 알 수 있는데요. 이를 Copy 합니다.
커멘드창을 연 후, 위 명령어를 실행해 봅니다. 저는 혹시 몰라 폴더를 생성하였는데 어차피 올라마 위치에 다운로드를 하는 것으로 보이기에 어떤 위치에서 실행해도 상관이 없습니다.
모델을 모두 다운로드 하게 되면, 해당 모델을 바로 사용을 할 수 있게 됩니다.
/? 라고 입력을 하면, 명령어가 뜨게 되며 사용법을 알 수 있게 됩니다.
위 화면은 제가 라마3에게 인공지능에 대해서 어떻게 생각하는지를 질문하는 화면입니다. 번역해서 말해달라는 말이 없다면 기본 Default로 말을 하기 때문에 질문을 한글로 적더라도, 꼭 아래와 같이 한글로 작성해줘와 같은 말을 추가로 넣어주시면 됩니다.
현재까지 여럿 테스트를 해봤는데 아직까지는 GPT-3.5 보다는 약간 성능이 부족한 것처럼 느껴지는데요. 장점은 속도가 매우 빠르며, 현업에서 충분히 활용할 수 있는 용량이기 때문에 앞으로 해당 모델을 어떻게 파인튜닝 시키는지에 따라서 성능을 얼만큼 끌어올릴 수 있을지 좀 테스트를 해봐야 될 것 같습니다.
저희 회사는 ChatGPT 3.5 버전을 사용하는 서비스가 많으며, 한달에 약 100만원 가량의 API 사용료를 지불하는데 이참에 가장 많이 사용하는 서비스를 대상으로 교체를 해보는 것을 시도해봐도 좋을 것 같습니다.