I-BigText
텍스트 처리 및 분석
주요기능
대용량 텍스트 수집 및 전처리 제공
고객에 요구사항에 맞는 맞춤형 데이터 수집이 가능합니다. 수집된 대용량의 텍스트를 저장하고 쿼리할 수 있는 데이터베이스를 제공합니다.
다국어 임베딩 처리 제공
요구사항에 맞는 다양한 임베딩 알고리즘(Skip-gram, gloVe, FastText, Doc2Vec 등) 선택 및 다국어 대응이 가능하며 다양한 자연어 처리 업무에 사용될 수 있도록 임베딩을 생성 제공 합니다.
감정 분류 모델 제공
데이터 셋에 따라 이진 분류 및 다중 분류 서비스를 제공합니다. 요구사항에 따른 다양한 텍스트 분류 모델(RNN, LSTM, BERT 등)을 선택해서 모델을 훈련하고 API 형태로 제공합니다.
유사도 검색 제공
요구사항에 맞는 데이터셋을 활용하여 유사한 단어, 문장, 문서 검색 모델 훈련 및 API 제공이 가능합니다.
토픽 모델링 제공
LDA와 BERT모델을 활용한 토픽 모델링 서비스를 제공합니다.
임베딩 시각화 제공
임베딩 분석 및 시각화 서비스를 제공합니다. webGL 기반 GPU 가속을 통해 대량의 데이터를 시각화하고 인사이트를 얻을 수 있습니다.
관리자 페이지를 통한 편리한 데이터 및 모델 관리
수집 데이터, 모델, 그리고 모델 지표를 추적 관리 할 수 있는 시각화 서비스를 제공합니다.
주요 엔진 및 성능
대용량 텍스트 전처리 엔진
대용량 텍스트 전처리 엔진은 비정형 데이터 가공을 위해 형태소 분석, 구문 분석, 감정 분석 등의 텍스트 분석 기능을 처리하는 전처리 엔진입니다. 클러스터로 구성된 환경에서 고객의 요구사항에 따라 수집된 대용량 텍스트를 빠른 속도로 처리합니다.
다국어 임베딩 처리 엔진
다국어 임베딩 처리 엔진은 텍스트 전처리 결과를 바탕으로 문장에 숨겨진 의도를 이해하거나 질문의 유형을 파악하는 등의 한 단계 높은 수준의 분석에 필요한 임베딩을 생성합니다. 대화처리를 위한 의도 이해 및 분석, 심층질의응답을 위한 질문 의미 이해 등 요구 사항에 따라 임베딩 지표를 측정하고 생성합니다.
감정분류 엔진
감정분류 엔진은 고객의 요구사항에 따라 추출된 임베딩을 활용하여 텍스트 분류 모델 학습 및 관리하는 엔진입니다. 다양한 텍스트 분류 알고리즘을 제공합니다. 최소 92% 이상의 텍스트 분류 정확도를 보장합니다.
임베딩 시각화 모듈 엔진
임베딩 시각화 모듈 엔진은 추출된 임베딩을 활용하여 차원을 축소하여 시각화 함으로 숨겨져 있는 패턴을 발견하고, 미래를 예측, 이해할 수 있도록 지원합니다. 대용량 데이터 렌더링에 특화되어 있습니다.최대 1.5초 이내 랜더링 속도를 보장합니다.
솔루션 구성도
사용 사례
만개의 레시피
만개의 레시피에서는 임베딩 처리 엔진을 활용하여 요리 및 재료 임베딩으로 레시피 트렌드 분석 및 수요를 예측했습니다.
워드캐스트
워드캐스트에서는 다국어 임베딩 처리 엔진을 활용하여 수능 및 공무원 시험별 5000개의 영어 단어장을 제작했습니다.
오색중국어
오색중국어에서는 다국어 임베딩 처리 엔진을 활용하여 HSK 시험별 중국어 단어장을 제작했습니다.
피풀스
피풀스에서는 감정 분류 엔진을 활용하여 여덟 종류의 감정을 분류했습니다.
옴니더이엔엠
옴니더이엔엠에서는 감정 분류 엔진을 활용하여 악성 댓글을 분류했습니다.
도입 절차