상식·추론능력 점수 세계 최고 기록 달성
[데이터넷] 솔트룩스(대표 이경일)는 초거대 언어모델 ‘루시아(LUXIA)’가 허깅페이스(Hugging Face)의 오픈 LLM 리더보드에서 전 세계 1위를 달성했다고 15일 밝혔다.
루시아는 35B 이하 언어모델 사이에서 확보한 순위로, 평균 점수는 약 77.74점이다. 전체 초거대 모델을 기준으로 피라미터 50B 이상의 대규모 모델을 제치고 전 세계 4위를 달성, 적은 피라미터로도 상위 모델보다 뛰어난 능력을 보여주는 압도적 성능뿐 아니라 경제성까지 입증했다.
특히 '상식능력(HellaSwag)'과 '추론능력(ARC)' 테스트 점수는 각각 91.88점 그리고 77.47점으로, 지금까지 나온 적 없는 점수를 최초로 받으며 기존 기록을 경신했다. 현재 21.4B 루시아 모델은 허깅페이스 업로드 3일 만에 500회 이상의 다운로드를 기록하는 등 크게 주목받고 있다. 솔트룩스는 루시아 21.4B 모델의 베이스 버전도 추가로 공개할 계획이다.
루시아 한국어 모델은 한국지능정보사회진흥원(NIA) AI HUB 평가 데이터셋을 사용한 한국어 자체 검증에서도 GPT3.5-turbo, 오픈 모델을 뛰어넘는 RAG(Retrieval-Augmented Generation) 및 요약 평가 점수를 달성했으며, RAG 기반 질의응답 정확도 90% 이상 등 우수한 성능 평가 점수를 기반으로 여러 기관 및 기업들과 빠르게 LLM 도입 사업을 추진하고 있다.
솔트룩스는 건국대 자연어처리 연구실(김학수 교수)과의 산학협력으로 지식의 최신성, 사실성, 보안성을 대폭 향상할 수 있는 새로운 방법의 모델 학습 및 지식 편집 기술을 연구 중이며, 이는 세계 최초의 사례가 될 수 있을 것으로 예상된다.
관계자는 “자체 연례 행사인 올해 솔트룩스 AI 컨퍼런스에서 현재의 루시아를 압도적으로 뛰어넘는 혁신적인 LLM을 공식적으로 선보일 것”이라며 “국내 대표 인공지능 기업으로써 글로벌 AI 시장을 선점할 초격자 경쟁력을 계속해서 확보해 나가겠다”라고 말했다.
