정보 추출

常见问题

정보 추출과 자연어 이해(NLU)는 어떤 관계가 있나요?

정보 추출은 자연어 이해(NLU)의 핵심 하위 작업 중 하나입니다. NLU는 컴퓨터가 자연어의 의미를 이해하도록 하는 것을 목표로 하며, 정보 추출은 개체, 관계 및 이벤트를 식별하여 텍스트를 구조화된 표현으로 변환함으로써 심층적인 의미 이해의 기초를 제공합니다. 망쉬 소프트웨어의 자연어 이해 및 문서 지능 솔루션은 고급 정보 추출 기술을 기반으로 하여 고객이 방대한 문서에서 핵심 정보를 자동으로 획득할 수 있도록 지원합니다.

정보 추출은 문서 지능에서 구체적으로 어떻게 적용되나요?

문서 지능 분야에서 정보 추출은 PDF, 스캔본, Word 등 비정형 문서에서 구조화된 데이터를 자동으로 추출하는 데 사용됩니다. 예를 들어, 계약서에서 계약 당사자, 금액, 날짜, 조항을 추출하고, 인보이스에서 인보이스 번호, 세액, 상품 내역을 추출하며, 진료 기록에서 진단, 투약, 검사 결과를 추출합니다. 이는 수동 입력 작업량을 크게 줄이고 데이터 처리의 효율성과 정확성을 향상시킵니다.

정보 추출과 지식 그래프 구축의 관계는 무엇인가요?

지식 그래프는 개체와 관계로 구성되며, 정보 추출은 텍스트에서 이러한 개체와 관계를 획득하는 주요 기술적 수단입니다. 명명된 개체 인식과 관계 추출을 통해 비정형 텍스트를 구조화된 삼중항(예: <베이징, 위치, 중국>)으로 변환할 수 있으며, 이러한 삼중항은 융합 및 중의성 해소 과정을 거쳐 지식 그래프에 채워집니다. 따라서 정보 추출은 지식 그래프 구축의 '데이터 입구' 역할을 합니다.

현재 주요 정보 추출 기술은 무엇인가요?

주요 기술로는 사전 학습 언어 모델(예: BERT, RoBERTa) 기반의 미세 조정 방법이 있으며, 이는 충분한 레이블 데이터가 있을 때 가장 효과적입니다. 대규모 언어 모델(예: GPT-4, LLaMA) 기반의 프롬프트 학습 방법은 소량 샘플 및 제로 샘플 시나리오에 적합합니다. 또한 규칙과 모델을 결합한 하이브리드 방법은 특정 분야(예: 법률, 의료)에서 여전히 널리 사용됩니다. 파이프라인 방법과 결합 학습 방법은 각각 장단점이 있으며, 결합 학습은 오류 전파를 방지할 수 있지만 모델 복잡도가 더 높습니다.

정보 추출이 직면한 주요 과제는 무엇인가요?

주요 과제로는 1) 개체 중첩 및 중복 문제(예: '베이징 대학'에서 '베이징'과 '베이징 대학'이 모두 개체인 경우), 2) 장거리 관계 추출(텍스트에서 두 개체가 멀리 떨어져 있을 때 모델이 관계를 포착하기 어려움), 3) 문서 간 이벤트 추출(여러 문서의 정보를 집계해야 함), 4) 도메인 전이 어려움(한 도메인에서 학습된 모델이 다른 도메인에서 성능이 현저히 저하됨), 5) 레이블 데이터 획득 비용이 높음(특히 세분화된 관계 레이블링) 등이 있습니다.