[NLP] 형태소 분석 확인 사이트

형태소 분석을 하기 위해서는 당연히 형태소 분석기를 돌리면 되지만, 형태소 분석기를 교차검증 해야 될 필요도 있고 다른 형태소 분석기는 어떻게 분석을 하는지 알아야 될 때도 있다. 

 

각설하고, 우리나라에는 대표적으로 형태소 분석을 확인할 수 있는 사이트가 여럿있지만 여기서는 2가지를 설명해보고자 한다.

 

[NLP] 형태소 분석 확인 사이트

---

엑소브레인(Exobrain)

엑소브레인은 한국전자통신연구원(ETRI, 에트리)와 국내 인공지능 및 검색업체와 같이 프로젝트를 한 사업으로 참여한 업체는 와이즈넛(Wisenut)과 솔트룩스(Saltlux) 등이 있다.

 

요 엑소가 아니다...

 

와이즈넛과 솔트룩스는 상용 검색엔진을 만드는 업체로 국내 다섯손가락 안에 드는 업체이기 때문에 자연어처리 기술이 매우 잘 발달되어 있다. 엑소브레인은 에트리와 국내 굴지의 업체들이 함께 만들었으며 이 프로젝트로 국내에서 퀴즈쇼(대결! 엑소브레인)에 참여해 미국 IBM의 왓슨(Watson)이 제퍼디 퀴즈쇼(Jeopardy!)에서 우승하듯 엑소브레인 역시 퀴즈대회에서 압도적인 표차[1]로 우승하였다.

 

데모 페이지

언어 분석 데모 페이지 [2]

 

엑소브레인 데모페이지에서 문장을 입력한 후, 분석하기를 클릭하면...

 

엄청난 퍼포먼스의 형태소 분석과 개체명 분석

 

이와 같이 엄청난 퍼포먼스를 자랑하는 형태소 분석과 개체명들을 확인할 수 있다. 여기에 다양한 자연어처리 기술들을 보여주는데 

 

구문분석

 

구문분석이나 의미역 인식 결과까지 보여주며 사실상 형태소 분석기의 끝판왕다운 모습을 보여준다. 

 

 

코모란(Komoran)

엑소브레인이 자연어처리의 끝판왕다운 모습을 보여준다면 코모란은 소박하지만, 현실적인 오픈소스 형태소 분석을 보여준다.

 

데모페이지

코모란 데모

 

코모란 데모페이지[3]에 들어가면, 이와같이 입력 문장과 적용 모델을 선택하는 것이 나오며 문장을 입력한 후 분석 버튼을 누르게 되면 엑소브레인에 비비지는 못하더라도 높은 수준의 형태소 분석을 보여준다는 것을 알 수 있다.

 

꽤 높은 수준의 형태소 분석

 

엑소브레인의 경우 이미 10년이상 된 기업들의 형태소 분석 노하우와 에트리의 기술까지 합쳐졌고, 해당 프로젝트에 수십명이 투입됐을 것이 뻔하기에 이렇게 고성능을 보여주지만, 코모란의 경우 구성원 3명이 만든 작은 오픈소스이기 때문에 둘의 성능을 비교하는 것은 사실상 바보같은 생각이다.

 

코모란의 경우 현재 가장 많이 사용되는 오픈소스 형태소 분석기중 하나이며, 설치도 쉽고 사용방법도 간단하며 분석 속도 또한 준수하기 때문에 자연어 처리를 공부하는데 상당히 유용한 프로젝트이다.

 

References

[1] 조선비즈 - [과학TALK] 장학퀴즈에 첫 출전한 엑소브레인(AI), 인간에 싱거울 정도로 완승... https://biz.chosun.com/site/data/html_dir/2016/11/20/2016112000299.html

[2] 엑소브레인 - 언어처리 데모 페이지, https://aiopen.etri.re.kr/demo_nlu.php

[3] 코모란 - 데모 페이지, https://www.shineware.co.kr/products/komoran/