우수신기술 지정 지원사업
최종보고서
통계적 정보와 문소구조분석을 이용한 한국어
문서요약 시스템 기술
개발기관 : (주) 나눔정보테크
정 보 통 신 부
제 출 문
정보통신부 장관 귀하
본 보고서는 우수신기술 지정 지원사업 통계적 정보와 문서구조분석을 이용한 한국어 문서
요약 시스템 기술 과제의 최종보고서로 제출합니다.
1999년 2월 19일
개발기관 : (주) 나눔정보테크
개발책임자 : 정 용 진
참여연구원 : 최 진 규
이 장 호
한 성
박 복 기
박 대 원
송 재 규
요 약 문
1. 제목
통계적 정보와 문서구조분석을 이용한 한국어 문서요약 시스템 기술
2. 연구개발의 목적
이 연구에서는 한국어 문서의 통계적 정보와 문서구조분석을 이용한 한국어 문서요약 시스템 기술을 활용하여 e-mail 요약 시스템의 시제품을 개발한다. 이를 위하여 한국어로 된 문서에서 출현하는 각 단어의 출현빈도정보를 추출하고 이를 사전으로 관리할 수 있는 사전관리도구와 사전을 구축한다. 또한 한국어 문서와 전자 우편 문서의 구조적 특성을 분석하고 이를 휴리스틱화하여 문서요약 기술에 접목하고, 이를 토대로하여 e-mail 요약 시스템의 시제품을 개발한다.
3. 연구개발의 내용 및 범위
이 연구의 주요개발 내용은 다음과 같다.
⸁ e-mail 요약 시스템
⸂ 문서변환기
⸃ 문서요약용 전자사전 구축
⸄ 전자사전 관리 프로그램
4. 시제품개발결과 및 활용에 대한 건의
가. 시제품 개발결과
이 연구를 통하여 다음과 같은 시제품을 개발하였다.
⸁ 한국어 문서요약 시스템
Unix 환경에서 한국어 문서를 입력으로 받아 요약문을 자동으로 추출하는 시스템으로 다음과 같은 성능을 가진다.
⼘ 수작업 요약문장에 대하여 75%의 요약 성능 제공
⼘ HTML, e-mail에 대한 문서변환기능을 가짐
⼘ 색인시스템 이용하여 중요단어를 문서에서 추출
⸂ 한국어 e-mail 요약 시스템
Windows 환경하에서 e-mail 문서를 mail 서버에서 받아와서 요약 mail을 함께 보여주는 mail 브라우저로 다음과 같은 성능을 가진다.
⼘ 요약된 문장을 보여줄 수 있는 요약기능 포함
⼘ 수작업 e-mail 요약에 대비하여 70%의 요약 성능 제공
⼘ 사용자 선호정보를 위한 인터페이스 제공
⸃ 한국어 전자사전 및 관리도구
한국어 문서에서 나타나는 단어의 통계적 빈도를 나타내는 단어 사전과 이에 관련된 사전 관리도구로 다음과 같은 성능을 가진다.
⼘ 역파일 구조와 압축에 의한 사전정보 저장
⼘ 동적 메모리 관리를 위한 라이브러리 제공
⼘ 효율적인 검색 및 삽입삭제를 위한 관리도구 제공
⸄ 문서변환기
다양한 형식의 입력문서를 문서요약기가 처리 가능한 텍스트 파일로 변환해 주며, 다음과 같은 성능을 가진다.
⼘ HTML 문서를 텍스트 문서로 변환
⼘ e-mail 문서의 MIME코드를 디코딩하여 텍스트 파일로 변환
⼘ 10.53문서/초의 처리성능을 가진다.
나. 활용에 대한 건의
- 정보검색 시스템의 응용프로그램(결과 확인의 효율성)
- 개인용 종합문서 관리시스템
- 메일 관리 시스템
5. 기대효과
이 연구의 기대효과는 다음과 같다.
가. 기술적 측면
- 인터넷 관련 자연언어 처리의 응용분야 활성화
- 기계번역 및 정보검색 등 자연언어 처리 시스템의 성능 개선
- 개인용 정보검색 시스템을 위한 기반기술
나. 경제/산업적 측면
- 인터넷 서비스의 응용 소프트웨어의 성능향상을 통한 정보 환경의 활성화
- 문서 요약을 이용하여 불필요한 웹 검색의 감소로 인한 시간과 노력의 절감
- 특화된 디렉토리 서비스나 정보검색 서비스의 활성화
목 차
제 출 문
요 약 문
1. 제목
2. 연구개발의 목적
3. 연구개발의 내용 및 범위
4. 시제품개발결과 및 활용에 대한 건의
가. 시제품 개발결과
나. 활용에 대한 건의
5. 기대효과
가. 기술적 측면
나. 경제/산업적 측면
제 1 장 총괄
제 1 절 서론
제 2 절 사례조사
제 3 절 기술 개발 목표
제 4 절 기술 개발 내용
제 5 절 기술 개발 결과
제 2 장 한국어 문서의 통계정보
제 1 절 각 전자사전의 구축
제 2 절 전자사전의 성능향상
제 3 장 문서변환 시스템
제 1 절 HTML 문서변환기
제 2 절 전자우편 문서변환기
제 4 장 통계적 방법에 의한 문서요약
제 1 절 유사도 계산함수
제 5 장 한국어 문서의 구조분석
제 1 절 문서구조 분석
제 6 장 통계적 방법과 문서구조분석을 이용한 문서요약
제 7 장 한국어 문서요약 시스템
제 1 절 한국어 문서요약 시스템
제 2 절 한국어 전자 메일 요약 시스템
제 8 장 결론
제 1 절 연구개발 결과
제 2 절 연구개발 결과물
제 3 절 향후연구과제
참고문헌
제 1 장 총괄
제 1 절 서론
컴퓨터 네트워크의 사용이 많아지고, 디지털화 된 전자문서의 활용이 확산되면서 개인이 관리하고 확인해야하는 문서의 량이 점점 많아지고 있다. 따라서 많은 컴퓨터 사용자들은 개인이나, 그들이 속한 조직과 관련된 문서의 확인과 관리에 점점 많은 시간과 노력을 소모해야 한다. 또한 이들 많아지는 문서로 인하여 개인에게 필요한 점보와 불필요한 정보를 분류하여 관리하는 노력도 점점 추가비용이 늘어간다. 따라서 효과적인 정보관리를 위하여 개인과 관련되는 문서를 찾아내고, 또 이들을 확인하여 분류하는 작업을 위한 효과적인 도구가 절실하게 필요한 실정에 있다.
또한 인터넷의 효과적인 활용의 하나로 전자우편이 이용되면서 개인에게 배달되는 전자우편의 량도 점점 많아져서, 다양한 형태의 전자우편 문서를 확인하고 관리해야 한다. 그러나 전자우편 문서는 mail 브라우저를 통하여 mail의 내용을 일일이 확인하고 필요한 문서인지를 확인하는 과정을 거쳐야 한다. 그러나 개별 문서의 확인은 불필요한 문서를 읽고 내용을 확인해야 하므로 불필요한 시간과 경비를 낭비하는 결과를 초래한다. 따라서 문서의 전체 내용을 읽지 않고도 문서의 내용을 파악할 수 잇는 효율적인 시스템이 존재한다면 전자문서를 다루는 작업에 시간과 노력을 줄일 수 있다.
이와 같은 필요성 때문에 본 연구에서는 다음과 같은 사항에 중점을 두고 시스템을 개발하였다.
첫째, 한국어 문서를 다양한 형태로 받아들여 일반 텍스트로 변환하고 이를 요약하여 요약문을 제공하도록 하였다. 전자우편 문서의 경우 MIME형식의 코드로 된 문서를 받아 텍스트 형식으로 변환하고 이를 요약한다. 또한 웹 문서는 HTML 형식의 문서로 나타나므로, 이를 텍스트 형식으로 변환하고, 변환된 문서를 요약하여 요약된 문서를 제공한다.
둘째, 한국어 문서의 일반적인 특성의 하나인 문서에서의 단어빈도를 충분히 계산한 통계적인 정보를 이용하여 요약문을 추출한다. 이를 위하여 말뭉치로부터 단어를 추출하여 그 출현 빈도를 사전에 저장하고, 이를 이용하는 방식을 택하여 문서를 요약한다.
셋째, 한국어 문서는 독특한 구조적인 특성을 가지고 있다. 구조적인 특성의 예를 들면, 문서의 서두에 중요한 의미를 담고있는 문장을 배치하거나 문장의 말미에 문서전체의 내용을 대표하는 문장을 두는 것과 같은 특성이다. 이 문서의 구조적인 특성은 문서요약의 성능을 높일 수 있어 이 문서특성 정보를 휴리스틱으로 이용하는 문서요약 시스템을 개발한다.
이와 같은 사항들을 포함하는 문서요약 기술을 바탕으로 본 연구에서는 한국어 문서 요약 시스템의 시제품을 개발한다. 이 시스템은 Unix와 Windows 95환경에서 개발하고 다양한 문서변환 기능과 단어의 출현빈도를 이용한 유사도 계산에 의한 요약문 생성의 기능을 가지고 있다. MIME코드의 해석이나 HTML 문서의 텍스트 변환과 같은 기능을 수행할 수 있다. 또한 Unix 환경 하에서는 웹 인터페이스를 이용하여 인터넷상에서 활용 가능하도록 했으며, Windows95 환경에서는 요약 기능이 추가된 e-mail 브라우저를 구현하였다.
제 2 절 사례조사
문서요약은 1958년 Luhn[Luhn]에 의하여 처음 연구가 시작된 후 많은 연구가 진행되어 왔다. 기존의 문서요약 기법은 문장구성요소 추출에 기반한 자동 요약, 문장 이해 기반 자동요약, 혼합방법에 의한 자동요약, 틀에 기반한 자동요약으로 나눌 수 있다.
문장구성요소 추출에 기반한 문서자동 요약은 문서의 각 문장이 가지는 언어적 혹은 구조적 정보를 이용하여 각 문장이 요약문에 포함될 가능성을 계산하고, 가능성이 높은 문장을 추출하는 방법이다. 이 방법은 정보검색시스템을 기반으로 문장에 나타나는 각 문장구성요소 중에서 문서의 내용을 가장 잘 나타내는 문장구성요소를 추출하는 방법과 대용량 말뭉치를 학습데이터로 사용하여 요약문에 포함되는 문장의 특성(feature)에 대한 확률정보를 학습하고, 이 확률정보를 이용하여 각 문장이 요약문에 포함될 확율을 계산하는 방법이다. 이 방법은 비교적 구현이 쉬운 반면 시스템이 생성하는 요약문의 질이 사람이 요약한 요약문에 비하여 현저히 떨어지는 단점을 가지고 있다.
문장이해기반 자동문서요약은 지연언어처리를 통하여 문서의 각 문장이 나타내는 내용을 파악하고, 이를 기반으로 문서의 주제를 표현하는 정보를 식별한 후 문장생성을 통하여 요약문을 생성하는 방법이다. 이 방법은 자연언어처리를 통하여 문서의 내용을 이해하고 이를 지식베이스로 하여 처리하기 때문에 구현이 매우 어려운 단점을 가지고 있다. 그러나 이 방법이 제공하는 요약문은 사람에 의하여 요약된 문장만큼 자연스러운 요약문을 생성할 수 있다.
혼합방법은 문서에서 표현하는 개념을 추출하기 위하여 통계적인 방법을 이용하고, 선택된 문장구성요소의 의미를 해석하기 위하여 각 단어의 개념에 대한 지식베이스를 이용하는 방법이다. 이는 통계적인 방법으로 개념을 잘 나타내는 문장들을 선택한 후 의미해석을 시도하므로 의미해석의 문장을 줄일 수 있는 장점을 가지고 있다.
틀 기반 자동문서요약 방법은 요약문에 대한 틀을 미리 만들어 두고 문서의 문장분석을 통하여 각 틀의 항목을 채운 후 이 틀을 이용하여 요약문을 생성하는 방법이다. 이때 틀을 만드는 방법은 전문가를 통하여 수작업으로 만들 수 있고, 학습자료를 통하여 주제문장의 유형을 파악하고 이 유형에 맞는 틀을 작성하기도 한다.
국내∙외의 관련 연구를 살펴보면 다음과 같은 연구가 진행되고 있다.
ㅐ국외의 경우
영어에서는 문서요약의 연구 초기부터 연구가 진행되어 많은 연구가 있어 왔다. 최근까지의 각 연구가들의 연구사례들은 다음과 같다. Cornell 대학의 Salton은 문서의 각 paragraph들 간의 유사도 계산을 통하여 문서를 세그먼트 단위로 분할하고 이를 이용하여 문서를 요약하는 방법을 사용하였다. California Berkeley 대학의 Hearst는 문서를 일정크기의 세그먼트로 분리하고, 이 세그먼트들간의 유사도 측정을 통하여 전체 문서를 주제에 따라 보다 큰 세그먼트로 분리한다. 이 주제별 세그먼트의 가장 중요한 단어들을 추출하여 문서를 분류하고 이 기법을 활용하여 문서를 요약하는 방법을 사용하였다. 또한 Columbia 대학의 McKeown, Robin과 Radev는 범죄에 대한 신문기사로부터 범죄에 대한 각 구성요소를 추출하고 이로부터 요약문장을 생성하는 방법을 사용하였다. 최근 들어 Southern California대학의 Lin은 문장의 위치정보를 이용한 Topic 선정에 관한 연구를 통하여 문서를 요약하는 방법을 사용하였다.
일본의 문서요약에 관한 연구는 Miike 등에 의한 수사학적 지식을 이용하는 문서요약 기법[Miike]과 Ochitani 등에 의한 Goal-Directed 방법[Ochitani]에 의한 문서요약 방법이 연구되었다.
ㅐ국내의 경우
국내의 문서요약에 관한 연구는 문장추출을 통하여 요약문을 자동으로 추출하는 쪽으로 충남대학교와 부산대학교에서 연구가 진행되고 있어 1997년 '한글 및 한국어 정보처리' 학술대회에 연구논문을 발표하였다. 충남대학교의 경우 단서단어특성, 문장위치특성, 부정단어특성에 대한 확률을 학습하고 이 확률을 이용하여 요약문장을 선택하는 방법을 이용한다[장동현]. 부산대학교의 경우 정보검색시스템에서 활용하는 색인어 사전을 이용하여 단어의 출현빈도를 구하고, 이를 기반으로 문서와 문장간의 유사도 계산을 통하여 요약문장을 선택하는 방법을 이용한다. 이때 이용되는 유사도 계산함수는 코사인 유사도 계산함수를 사용하고 있다[강상배].
제 3 절 기술 개발 목표
이 연구에서는 통계적 정보와 문서구조 분석을 이용한 한국어 문서요약 시스템 기술을 기반으로 한국어 e-mail 요약시스템의 시제품을 개발한다. 이를 위하여 세부적인 연구목표는 다음과 같다.
⸁ 한국어 문서에 나타나는 통계정보인 단어의 출현빈도를 추출하기 위한 한국어 색인 시스템 개발
⸂ 한국어 문서에서 나타나는 단어의 출현빈도를 효과적으로 관리하기 위한 전자사전과 이를 관리하기 위한 사전관리 도구 개발
⸃ 각종 형태의 문서를 텍스트 문서로 변환하는 문서변환기 개발
⸄ 일반 텍스트 문서, 신문기사, 전자우편 문서 등의 구조분석을 통한 휴리스틱 추출 및 적용 알고리즘 개발
⸅ 다양한 형태의 문서를 자동으로 요약하여 요약결과를 제공하는 한국어 문서요약 시스템 개발
⸆ 전자우편 문서의 요약문을 함께 보여주는 e-mail 브라우저의 개발
제 4 절 기술 개발 내용
이 연구에서의 연구개발 목표에 따른 연구내용은 다음과 같다.
⸁ 한국어 색인 시스템 개발
ㅐ 명사중심의 문서내 중요단어 추출 기능 제공
ㅐ 문서내 중요단어의 통계정보 추출 및 저장과 관리 기능 제공
ㅐ 전자사전 관리도구와의 연동
⸂ 한국어 전자사전과 및 사전관리 도구 개발
ㅐ 효율적인 전자사전 구조개발
ㅐ 사전구조에 따른 전자사전 검색 알고리즘 개발
ㅐ 동적인 메모리 관리 모듈 개발
ㅐ 사전관리를 위한 라이브러리 개발
⸃ 문서변환기 개발
ㅐ e-mail 문서의 텍스트 문서변환
ㅐ HTML 문서의 텍스트 문서 변환
⸄ 문서 구조분석을 통한 휴리스틱 추출 및 적용 알고리즘 개발
ㅐ 문장의 위치에 따른 중요도 부가 휴리스틱 제공
ㅐ 문장의 길이에 따른 중요도 부가 휴리스틱 제공
ㅐ 문서 제목 특성에 따른 중요도 부가 휴리스틱 제공
ㅐ 문장의 마지막 어절에 따른 중요도 부가 휴리스틱 제공
ㅐ 문장의 시작 어절 및 특수한 어구(phrase)에 따른 중요도 부가 휴리스틱 제공
⸅ 유사도 계산을 위한 알고리즘 개발
ㅐ 코사인 유사계수함수를 이용한 문서와 문장간의 유사도 계산 함수
ㅐ 문서구조특성에 따른 휴리스틱을 적용한 유사도 계산함수의 확장
⸆ 한국어 문서요약 시스템 개발
ㅐ 전자사전, 색인시스템, 문서변환기, 문서구조분석 이 결합된 통합시스템으로 개발
ㅐ 웹 인터페이스 개발
ㅐ 사용자의 요구에 따른 요약범위 선택
⸇ e-mail 브라우저의 개발
ㅐ 요약기능이 부가된 e-mail 브라우저의 시제품 개발
ㅐ 사용자의 선호도를 반영하는 요약 시스템 개발
제 5 절 기술 개발 결과
이 연구를 통하여 얻어진 기술개발 결과는 다음과 같다.
⸁ 한국어 색인시스템
ㅐ 문서의 문장을 분리하고, 각 문장에 포함된 중요단어(명사중심)를 추출하여 역파일 사전구조의 통계정보를 가진 전자 사전을 구축하는 색인시스템을 개발하였다.
ㅐ 자체 설계된 동적 메모리 관리 방식을 채택하여 보다 효율적인 시스템운용이 가능하게 개발하였다.
⸂ 전자사전과 전자사전 관리도구
ㅐ 말뭉치내 중요 단어의 발생빈도에 관한 통계정보인 TF와 idf정보를 전자사전화하여 관련 문서의 말뭉치 사전을 구축하였다.
ㅐ 말뭉치 사전은 신문기사, KTSET, e-mail문서 등의 말뭉치 사전을 구축
ㅐ 사전을 관리하기 위한 도구를 라이브러리화하여 활용하고 있다.
⸃ 문서변환 시스템
ㅐ HTML 문서를 텍스트 문서로 변환 기능을 제공하도록 개발하였다.
ㅐ e-mail문서의 MIME코드를 일반 텍스트 문서로 변환 기능을 제공하도록 설계하였다.
ㅐ e-mail문서에 대하여 효과적인 관리를 위한 별도의 format을 설계하고 e-mail 브라우저에서 활용 가능한 효율적인 데이터베이스에 저장하도록 하였다.
ㅐ e-mail문서변환에 대하여 10.53문서/초당 성능을 나타낸다.
⸄ 한국어 문서요약 시스템
ㅐ Unix 환경 하에서 동작하는 서버형 문서요약 시스템을 개발하였다.
ㅐ Web 인터페이스를 채택하였으며, 색인서버가 함께 연동하도록 개발하였다.
ㅐ 사용자가 요약 수준을 선택하도록 설계·개발하였다.
ㅐ 수작업 문서요약에 대하여 75%의 성능을 나타낸다.
⸅ 한국어 E-MAIL 요약 시스템 시제품
ㅐ e-mail 브라우저형태로 시제품을 개발하였다.
ㅐ 서버에서 받은 e-mail 원 문서를 텍스트로 변환하는 MIME decoding기능을 결합하여 개발하였다.
ㅐ 별도의 e-mail 파일 형식을 설계하여 e-mail 요약과 브라우징이 효율적으로 운용되도록 개발하였다.
제 2 장 한국어 문서의 통계정보
한국어 문서요약 시스템은 문서로부터 단어를 추출하여 각 단어에 대한 문서에서의 출현빈도를 통계정보로 이용한다. 이를 위하여 특정 문서의 집단인 말뭉치를 선택하고, 말뭉치에 속한 문서에서 각각의 단어를 추출한다. 추출된 단어에 대한 정보를 전자사전으로 유지하여 주어진 말뭉치에서의 각 단어의 출현빈도를 축적하여 활용한다. 이를 위하여 본 연구에서는 다음과 같은 형태의 전자사전을 이용한다.
제 1 절 각 전자사전의 구축
말뭉치에서 출현하는 단어의 추출은 명사 단어류에 속하는 단어만을 추출하여 사전에 저장한다. 또한 이 사전은 문서요약 처리과정에서 빈번하게 검색되므로 문서요약 시스템의 빠른 처리를 위해서는 전자사전의 검색시간을 줄여야 한다. 이와 같이 전자사전의 검색시간을 줄이기 위하여 전자사전을 특별한 구조를 가진 사전으로 구축하여야 한다.
본 연구에서는 효율적인 단어 검색을 위하여 "1음절 Head Trie 사전" 구조를 이용하여 말뭉치에서 출현하는 단어의 출현빈도 정보를 저장하는 전자사전을 구축하였다. "1음절 Head Trie 사전"의 구조는 [그림 1]과 같은 구조를 나타낸다. 사전의 구조는 단어의 첫 음절을 가지는 Head Pointer와 각 첫음절 단어의 Data Block으로 구성된다. 각 Data Block은 동일한 첫음절 단어를 가지는 사전에 속한 모든 단어의 집단으로 "변형된 Trie"구조로 저장되어 있다. 이와 같은 "1음정 Head Trie" 구조는 단어의 개수가 증가할수록 중복되는 음절이 많아져 정장공간을 절약할 수 있다. 도한 각 단어의 음절이 순서대로 저장되기 때문에 삽입과 동시에 정렬되며, 빠른 검색이 가능하다. "1음절 Head Trie 사전" 구조에서의 단어검색은 다음과 같은 처리과정을 거쳐 사전 정보를 추출한다.
[그림 1] 1 음절 Head Trie 사전 구조
⸁ 주어진 단어의 첫 음절을 추출하여 "첫음절 Head Pointer"에서 해당 첫음절의 Data Block의 주소를 획득한다. 이 과정은 Head Pointer가 1:1로 대응되기 때문에 특별한 시간을 요구하지 않고 1 단계에 완료된다. [그림 1]의 경우 사전에 "학교생활". "학교주변", "학생문제", "학생처", "학칙"이라는 단어가 Data Block에 저장되어 있다. 찾는 단어가 "학교주변"이라면, 1음절 Head Pointer에서 "학"에 대한 Data Block이 찾아진다.
⸂ Data Block의 시작 주소를 획득하면 다음 단계는 Data Block에서 2번째 이하의 단어를 찾는다. [그림 1]의 경우 "학" Data Block에서 "학" 이하의 오른쪽 링크를 따라서 "교"를 찾게된다. 다음 음절의 검색은 "교"가 매치된 노드의 왼쪽 노드를 따라 이동한 우 오른쪽 노드를 찾아 "주"음절을 매치하고 동일한 방법으로 "변" 음절을 찾는다. "학교주변"이라는 단어가 찾아지면 빈도정보를 추출하여 필요한 통계정보를 얻는다.
하지만 이와 같은 처리과정은 사전의 크기가 커지면 Data Block 내의 탐색에 걸리는 시간이 많이 걸리는 문제를 안고 있다(실험결과 50만 단어 사전보다 커질 경우[표 1]).
[표 1] 1음절 사전구조의 탐색시간
이 표에서 나타난 것과 같이 "1음절 Head Trie" 구조의 사전을 검색하는데 있어서 사전에 Memory에 로드된 경우 단어의 개수가 증대될수록 탐색시간이 많아지는 것을 볼 수 있다. 이와 같은 응용영역의 시스템은 단어가 늘어난다 해도 탐색시간이 거의 일정한 수준을 유지해야만 효율적인 시스템이 되므로 "1음절 Head Trie"사전 구조는 개선되어야 한다.
제 2 절 전자사전의 성능향상
이와 같은 문제는 Data Block의 크기를 줄이는 것으로 해결할 수 있다. 그러나 Data Block의 크기를 줄이는 것은 한 Block을 다시 첫음절을 기준으로 Data Block으로 나누어 처리할 수밖에 없다. 이러한 개선은 사전의 구조적인 요소에 기인하므로 본 연구에서는 다음과 같이 사전구조를 개선하였다.
개선된 사전구조는 두 개의 Head Pointer와 한 개의 Data Block을 가진 사전구조를 가진다. 첫 번째 Head Pointer는 단어의 첫 번째 음절에 대한 Head Pointer의 주소 정보를 제공한다. 두 번째 Head Pointer는 해당 단어가 속한 Data Block의 시작 주소를 가지고 있다. 이와 같은 경우 두 번째 Head Pointer는 동적인 구조를 가져야 하며, 첫 번째 Head Pointer를 검색한 후에 다음 Head Pointer가 선택되게 되는 3단계의 검색과정을 거친다.
[그림 2] 2 음절 Head Trie 사전 구조
[그림 2]는 [그림 1]에서와 동일한 예에 대한 "2음절 Head Trie" 사전 구조를 보여준다. 동일한 예에 대하여 2개의 Data Block이 생성되고 Data Block의 크기가 줄어짐을 볼 수 있다. 이와 같이 하나의 Data Block을 두 번째 음절의 Head Pointer를 이용하여 Data Block의 크기를 줄이므로 탐색 시간을 줄일 수 있다. [그림 2]에서 "학교주변"이란 단어를 검색할 경우 처리과정은 다음과 같다.
⸁ 먼저 첫 번째 음절인 "학"에 대하여 "첫번째 음절 Head Pointer"에서 두 번째 "Head Pointer"의 시작주소를 구한다.
⸂ ⸁에서 구한 "두번째 음절 Head Pointer" 시작주소를 이용하여 두 번째 음절인 "교"에 대한 Data Block의 시작주소를 얻는다.
⸃ 이 Data Block에서 "주변"에 대한 탐색을 실시한다. 이 Data Block은 "학교"로 시작하는 단어가 순서대로 정렬되어 저장되므로 빠르게 단어를 탐색 할 수 있다. 내부적인 Data Block의 구조는 "변형된 Trie"구조를 그대로 도입하고 있어 "1음절 Head Trie" 사전구조에서와 동일한 탐색방법을 이용할 수 있다.
⸁과 ⸂의 단계는 1:1의 대응관계를 이용하므로 한 단계에 완료되어 탐색시간에 영향을 주지 않는다. 그러나 ⸃단계는 각 음절에 대하여 개별적인 주소이동을 통하여 탐색이 완료되므로 많은 시간이 요구된다. 그러나 이와 같은 방법은 탐색해야할 Data Block의 크기를 줄이므로 탐색시간을 줄인다. 또한 사전에 저장될 단어의 개수가 증가하여도 탐색시간이 많이 증대하지 않는 것을 볼 수 있다(실험결과 50만 단어와 100만 단어의 탐색 속도 차이가 나지 않는다[표2]).
[표 2] 2음절 사전구조의 탐색시간
제 3 장 문서변환 시스템
디지털 문서의 활용이 많아지면서 문서의 양적인 측면에서의 증가와 함께 문서가 위치하는 장소가 다양하고, 문서의 형식이 다양하게 나타난다. 특히 문서의 형식은 일반 텍스트 문서에서부터 워드프로세서를 이용하여 작성한 문서뿐만 아니라 HTML문서와 전자우편문서에 이르는 아주 다양한 형식을 가지고 있다. 이들 모든 형식에 따른 문서요약은 불가능하며, 따라서 본 연구에서는 다양한 형식의 문서를 일반 텍스트(한글 완성형) 문서로 변환하고 이를 문서요약기가 받아들여 요약문을 자동으로 생성하고 그 결과를 제시하는 시스템을 개발한다.
[그림 3] 문서변환에 의한 문서요약
특히 전자우편문서의 경우 다양한 형태의 encoding에 따라 전자우편문서의 원래 형식은 여러 가지 형태로 나타난다. 대부분의 전자우편 원래문서는 mail 서버에 도달할 때 MIME(Multipurpose Internet Mail Extension) code로 encoding 되어 있다. MIME에서 도입한 encoding방식은 base64, quoted-printable, 7-bit, 8-bit, 등의 방법이 있으며, 본 연구에서는 이들 개별적인 방법의 decoding 방법을 이용하여 송신되기 전의 전자우편 문서로 변환한다. 이와 같은 변환 과정은 다음 [그림 3]과 같이 나타난다.
이와 같은 과정을 거쳐 변환된 전자메일의 통일된 문서형식은 다음[그림 4]와 같이 나타난다. 이 형식의 전자메일 문서는 메일 브라우저에서 보다 효과적으로 활용가능하고, 데이터베이스 구축과 활용에도 효율적이다.
[그림 4] 변환된 전자메일의 형식
이와 같이 개별 형식의 문서에 대하여 각각의 적합한 변환 알고리즘을 적용하고 이를 통합하여 하나의 문서변환 시스템을 개발한다. 본 연구에서는 전자메일인 MIME코드를 포함하는 POP3 프로토콜에 따른 문서의 텍스트 변환과 웹 문서의 형식인 HTML로 만들어진 문서를 텍스트 문서로 변환하는 HTML 파서를 개발하고 이를 통합하여 변환 프로그램 라이브러리를 만들어 활용한다.
본 연구에서 이용하는 문서변환을 자동적으로 처리하기 위한 문서변환 시스템의 전체적인 처리과정은 다음 [그림 5]와 같다.
[그림 5] 자동문서변환에 의한 문서요약
본 연구에서는 문서요약을 위하여 획득한 HTML 문서와 e-mail 문서를 일반 텍스트 문서로 변환하기 위한 문서변환기를 개발하였다. 특히 본 연구에서 개발하는 문서요약시스템은 주어진 텍스트 문서에서 문서의 내용을 가장 잘 나타내는 문장을 요약문장으로 선택하는 방법을 사용하기 때문에 일반 정보검색 시스템에서의 문서변환보다 더욱 정교한 문서변환이 요구된다. 이를 위하여 본 연구에서는 전자우편에 관한 SMTP와 MIME, 문서의 prototype을 조사하고, 이를 토대로 문서변환을 위한 규칙을 적용하여 문서를 변환한다. 이와 같은 형식과 절차에 따라 개발된 HTML 문서변환기와 e-mail 문서변환기의 세부적인 개발 내용은 다음과 같다.
제 1 절 HTML 문서변환기
일반 텍스트 문서와는 다르게 HTML문서는 그래픽 환경에 적합한 문서를 요구하는 분야이므로 문서의 형식과 모양이 다양하게 나타난다. 즉 HTML 문서는 다음과 같은 특성을 가지고 있다.
① 표현 양식이 자유롭다(문장과 문장 사이에 여러 줄의 여백 줄이나, 불규칙적인 여백 줄의 사용이 가능하다)
② 문장의 표시가 마침표(.)로 나타나지 않고 이미지를 이용하는 경우가 많다.
③ 특수 태그에 의한 문장, 절의 구분이 자주 사용된다.
④ 그림정보를 이용한 정보표현이 많다.
따라서 본 연구에서는 문서요약에 필요한 정보만을 추출하는 HTML문서 변환기를 개발하였다.
즉 주어진 HTML 원본 문서에서 태그로 분리되는 텍스트를 하나의 세그먼트로 분리하여 문서를 변환한다. 그러나 HTML의 특성상 텍스트 문서요약에 불필요한 세그먼트는 분리되어도 텍스트로 변환하지 않고 제거하는 방법을 사용한다. 예를 들어 <IMG>태그는 그림파일을 나타내므로 텍스트 문서요약에서는 불필요하다. 따라서 이 태그에 따르는 내용은 제거한다. 그러나 <TITLE></TITLE> 태그는 문서의 제목을 나타내는 내용이고, 이는 문서요약에서 활용되기 때문에 제거하지 않고 텍스트로 변환한다.
이와 같이 HTML문서의 특성으로 인하여 HTML 문서를 변환하는 데는 많은 규칙이 요구된다. 따라서 본 연구에서의 HTML문서 변환을 위한 규칙의 일부를 소개하면 다음과 같다.
ㅐ 하나의 태그에 속한 내용은 하나의 세그먼트로 한다.
ㅐ 텍스트를 포함하지 않는 세그먼트는 제거한다.
ㅐ 이미지로 시작하는 텍스트 문장은 문장 마침 기호(.)가 없어도 하나의 문장으로 변환하다.
ㅐ 하나의 세그먼트 내에 여러 개의 <BR> 태그가 적용될 경우 세그먼트내의 최소 공통 <BR>태그는 제거한다.
ㅐ 텍스트가 없는 HTML 문서에 대하여는 <TITLE> </TITLE>세그먼트의 내용을 본문 세그먼트로 한다.
본 연구에서는 HTML문서변환의 정확도와 요약문의 성능향상을 HTML 문서의 텍스트 문서변환 규칙을 계속하여 추출하고 이를 문서변환기에 추가하여 성능을 향상시켜야 한다.
제 2 절 전자우편 문서변환기
본 연구에서는 POP3 프로토콜을 따르는 e-mail 문서에 대하여 텍스트 파일로의 변환 프로그램을 개발하였다. pop3프로토콜을 따르는 e-mail 문서는 메일서버로부터 클라이언트로 추출될 때 Head부분과 Body부분이 함께 텍스트 파일형식으로 전달된다. 따라서 e-mail 문서를 일반 사용자가 메일 브라우저를 통하여 보면 문서형식으로 변환 할 수 있는 변환기를 제작하였다.
이를 위하여 본 연구에서는 e-mail의 Head부분에 나타나는 field-name을 추가하고 이를 이용하여 e-mail 문서를 변환한다. e-mail 문서의 변환과정은 다음과 같다.
▶ POP3 프로토콜에 따라 메일서버에서 해당 원본 전자우편 문서를 획득한다.
▶ 전자우편 원본문서에서 Head 부분을 추출한다.
▶ Head부분의 filed-name와 field-body를 분리하여 "subject"와 같은 문서요약에 필요한 내용을 추출한다.
▶ MIME field가 나타나면 MIME 디코딩을 위한 환경을 설정한다.
▶ 원본 전자우편문서의 Body부분을 분리한다. 이때 MIME환경이 설정되었다면 MIME 디코딩을 처리하여 원본 텍스트를 환원한다.
이와 같은 처리과정을 통하여 원본 e-mail은 문서요약을 위한 텍스트 문서로 변환된다. [그림 6]은 원본 e-mail과 변환된 텍스트 문서를 보여준다. 이때 원본 e-mail문서는 문서의 일부분을 보여준다.
[그림 6] 원본 e-mail문서와 변환된 텍스트 문서
변환된 e-mail 문서는 Body 부분의 내용이 문서요약에서 입력으로 활용된다. 또한 해당 문서요약기가 "제목"특성을 이용할 경우 "제목"+"Body"가 문서요약기에 입력된다. 그 외의 필요시 추가정보는 선택사항으로 문서요약기에 전달된다.
개발된 e-mail 문서변환기의 처리 성능은 다음과 같다.
처리성능 = 1.800 문서(e-mail) / 2분 51초
= 1.800 문서(e-mail) /171초
= 10.53문서/초
제 4 장 통계적 방법에 의한 문서요약
제 1 절 유사도 계산함수
본 연구에서는 문서에 나타나는 중요 단어들(명사, 복합명사)의 출현빈도를 이용하여 문서에 포함된 각 문장들과 문서와의 유사도를 계산하고 유사도가 높은 문장들을 요약문장으로 추출하여 요약문을 만드는 방법을 이용한다. 문장과 문서의 유사도를 계산하는 과정은 다음과 같이 진행된다.
[그림 7] 유사도 계산과정
이 과정을 그림으로 나타내면 [그림 7]과 같다. 그림의 입력문서는 문서 변환기를 거쳐 텍스트화된 완성형 문서이다. 자동요약을 생성해야 하는 텍스트화된 입력 문서에 대하여 시스템은 문장을 추출한다. 추출된 문장들은 정보검색 시스템의 자동 색인기를 이용하여 중요단어를 추출하고, 각 중요단어들의 출현빈도를 산출한다. 각 단어의 출현빈도는 하나의 문서에서 나타나는 출현빈도(TF)뿐만 아니라 말뭉치에서 발생하는 단어의 출현빈도(df)도 함께 이용한다. 이때 이용되는 출현빈도정보는 하나의 단어가 단일문서에서 나타나는 횟수를 나타내는 단어출현빈도(term frequency)와 말뭉치에 속하는 문서 가운데 단어가 나타나는 문장의 수를 나타내는 문헌빈도(document frequency) 정보이다.
각 문장에서 추출된 단어들의 출현 빈도정보는 TF정보와 df정보의 쌍으로 된 벡터로 나타낸다. 각 문장에 대한 벡터들을 하나의 벡터로 합성하고 이를 문서의 출현빈도 정보를 가지는 벡터로 한다. 문장
의 단어에 대한 출현빈도의 벡터는 다음과 같이 나타낸다.
m개의 문장을 포함하는 문서에서 각 문장의 벡터는 다음과 같이 나타낸다.
이때
는 i번째 문장에 j번째 단어의 출현빈도를 나타낸다. 또한
의 모든 문장에 포함된 단어들을 하나의 벡터로 표현하면 다음과 같다.
이 벡터는 하나의 문서에 포함 된 단어들에 대한 벡터이다.
이와 같이 하나의 문서와 문서에 포함된 문장은 각 단어들의 출현빈도의 벡터로 표현되고, 이들 문서와, 포함된 문장간의 유사도는 두 벡터간의 유사도로 정의된다. 본 연구에서는 두 벡터간의 유사도를 계산하는 함수를 코사인 유사계수 함수를 이용한다. 코사인 유사계수함수는 다음과 같이 정의된다.
이 수식은 두 벡터간의
값을 나타내기 때문에
값이 큰 문장
가 문서와 더 유사하다는 것을 의미한다.
이때
나
는 유사도 계산에서 문서나 문장의 각 단어가 가지는 중요도를 의미한다. 앞에서 정의한 벡터에서 보면 이
나
는 문서와 문장에서 나타나는 단어의 출현빈도를 나타낸다. 이 수식의 결과는 문서에서 빈번하게 나타나는 단어를 많이 가진 문장이 높은 유사도를 나타낸다. 그러나 문서에서 많이 나타나는 단어가 반드시 문서의 의미를 잘 나타내는 것은 아니다. 일반적으로 다른 문서에서도 빈번하게 나타나는 단어는 문서의 의미를 나타내는 데 있어서 오히려 효율을 떨어지게 할 수 있다. '안녕', '이용', '대표', '필요' 등과 같은 단어는 일반적으로 다른 문서에서도 높은 빈도로 나타나고, 이와 같은 단어를 포함하는 문장의 유사도가 다른 단어를 포함하는 문장보다 높게 나타난다. 그러나 이와 같은 단어를 포함하는 문장은 문서의 의미를 잘 나타내지 못하는 경향이 있다. 따라서 문장과 문서의 유사도를 계산하는데 있어서 어떤 단어가 다른 일반적인 문서에서 나타나는 빈도정보를 함께 포함하는 중요도를 이용해야 한다. 따라서 본 연구에서는 말뭉치에 포함된 문서에서의 출현빈도 정보를 함께 포함하는 단어의 중요도를 이용하여 유사도를 계산한다.
이와 같은 단어의 말뭉치에서의 발생빈도도 정보를 고려한 단어의 가중치
는 다음과 같다.
: 말뭉치에 포함된 전체 문서의 수
: k번째 단어가 나타난 말뭉치 내 문서의 수
: 문서에 포함된 k번째 단어의 출현빈도
: i번째 문장에 포함된 k번째 단어의 출현빈도
여기서
은 단어 k가 말뭉치에서 차지하는 중요도로써 정보검색 시스템에서 사용하는 Spark Jones의 역문헌빈도(inverse document frequency)를 이용하였다. 이 역문헌빈도는 말뭉치에서 적게 나타나는 단어의 중요도를 높게 부여하는 방법이다. 즉 다른 문서에 적게 나타나는 단어의 중요도는 모든 문서에서 나타나는 단어보다 높게 부여된다. 따라서 단어의 가중치는 말뭉치에서 단어가 나타나는 문서의 수에 반비례하고, 문서에서 단어의 출현빈도에 비례하여 가중치가 부여된다.
말뭉치에서 단어의 출현빈도 정보를 함께 이용하여 유사도를 계산하는 경우 말뭉치에 나타나지 않는 단어의 추정과 말뭉치에 많이 나타나는 단어의 처리는 유사도 계산에 중대한 영향을 미친다.
[그림 8] TF*idf를 이용한 유사도 계산과정
말뭉치에 나타나지 않는 단어의 가중치 추정.
말뭉치에 나타나지 않는 단어의 가중치는 그 단어의 역문헌빈도를 계산할 수 없으므로 가중치를 계산할 수 없다. 이와 같은 단어는 아주 특수한 분야에서만 사용하는 단어, 말뭉치의 크기에 의존하는 단어, 말뭉치의 종류에 의존하는 단어, 요약시 문장의 가중치 계산에 역효과를 발생시키는 단어일 수 있다. 요약 시스템에서는 위와 같이 엄격하게 구분하여 처리할 수 없으므로 본 연구에서는 이들 단어에 대한 역문헌빈도를 위한 가중치를 일괄적으로 추정하여 사용한다. 본 연구에서 사용하는 말뭉치에 나타나지 않는 단어의 역문헌빈도에 대한 가중치 추정값은 다음 [표 3]과 같다.
[표 3] 말뭉치에 나타나지 않는 단어의 가중치 추정
( N = 말뭉치에 포함된 문서의 총 수)
말뭉치에 많이 나타나는 단어의 처리
문서집단이 말뭉치에 많이 나타나는 단어는 일반적인 문서에서도 많이 나타날 가능성이 있다. 극단적으로 말뭉치의 모든 문서에 나타나는 단어는 일반적인 문서에서도 반드시 나타날 것이다. 따라서 이와 같은 단어들의 문장의 유사도 계산에서 효율을 떨어지게 하는 요인이 되므로 불용어로 처리하여 유사도 계산에서 제거하여야 한다. 영어에서는 말뭉치의 10%이상 문서에 나타나는 단어와 1%이하 문서에서 나타나는 단어는 불용어로 처리하였으나, 본 연구에서는 10%이상의 문서에 나타나는 단어만을 제거하였다.
왜냐하면 한국어에서는 복합명사 하나의 중요단어로 분리되어 사용되면, 복합명사는 문자의 중요한 구성요소가 되기 때문이다. 텍스트 문서로 된 신문의 경우 7만 건의 말뭉치에서 '기사(111414건), '관련'(10144건), '한국'(15021건)이 나타난다. 이와 같은 단어는 불용어로 제거되어야 한다.
문서 내 단어의 출현빈도의 가중치 조정
한 단어에 대한 문서에서 출현빈도 정보를 사용하여 단어의 가중치를 계산할 때 단어의 출현빈도는 단어의 가중치계산에 많은 영향을 미친다. 단어가 적절한 말뭉치 내 단어 가중치로 설정되었다 하더라도 문서 내 단어의 가중치가 높게 설정되었다면, 문서 내 단어의 가중치는 문장의 유사도에 너무 많은 영향을 미치게 된다. 따라서 본 연구에서는 문서 내 단어의 가중치를 줄이기 위하여 단어의 문서 내 출현빈도에 대하여 제곱근하여 단어의 가중치를 계산하였다. 따라서 단어의 가중치 수식은 다음과 같게 된다.
: 문서 내 단어의 출현빈도
: I번째 문장 내 단어의 출현빈도
이와 같은 모든 사항을 포함하는 문서와 문서에 포함된 문장간의 유사도 계산은 다음과 같은 수식으로 나타난다.
: 문서에서 i 번째 단어가 나나난 말뭉치내 문서의 수
: i 번째 문장에서 k 번째 단어가 나타난 말뭉치 내 문서의 수
: 말뭉치에 포함된 전체 문서의 수
: k 번째 단어가 나타난 말뭉치 내 문서의 수
: 문서에 포함된 k 번째 단어의 출현빈도
: i 번째 문장에 포함된 k 번째 단어의 출현빈도
제 5 장 한국어 문서의 구조분석
제 1 절 문서구조 분석
각각의 문서는 그 형식에 따라 문서 작성자가 표현하고자 하는 내용을 효율적으로 표현하고, 이와 관련된 여러 가지 운용의 편의를 위하여 내부적인 문서구조를 가지고 있다. 이 문서의 구조적인 정보는 문서의 자동요약의 성능을 향상하기 위하여 휴리스틱으로 활용 가능하다.
본 연구에서는 각 형식의 문서의 구조적인 특성을 찾아 이를 휴리스틱화하고 이 정보를 활용하여 문서의 성능을 높인 문서요약시스템을 개발한다. 특히 일반적인 문서의 구조적인 특성을 파악하고 이를 이용한 문서요약 시스템을 개발한다. 또한 전자메일의 문서요약에 활용되는 문서의 구조적인 특성을 찾아 이를 이용하는 전자메일 요약시스템의 시제품을 개발한다.
본 연구에서는 문서의 자동요약을 위하여 문서의 구조적인 정보를 추출하여 통계적 방법에 기반한 문장과 문서와의 유사도 계산을 보완한다. 이를 위하여 본 연구에서는 신문기사 문서와 e-mail 문서의 구조적인 정보를 추출하고 그 특성을 파악하였다.
1) 텍스트 문서(신문기사)
신문기사 문서는 기사의 특성상 반드시 제목이 나타난다. 이 제목에는 전체기사의 애용을 포괄하는 단어들로 구성되어 있다. 또한 제목문장은 완전한 문장의 형태를 취하지 않으며, 특별한 경우 문서 본문의 내용에 나타나지 않는 특별한 단어를 사용하는 경우도 있다. 또 다른 특성으로는 문서의 서두에 중요한 내용을 요약식으로 표현하고, 이후 문장부터 이 내용의 구체적인 사실이나 예를 들어 보다 자세한 설명을 추가하는 구조를 나타낸다. 또한 앞에서 기술한 사실을 뒷받침하기 위한 사실의 나열을 독특한 표현방식을 사용하고 있다.
본 연구에서는 신문사에서 분류한 정치, 경제, 사회, 국제, 과학의 6개 범주에 대하여 각각 정치분야가 95문서, 경제분야가 94, 사회분야 95, 문화분야 85, 국제분야 90, 과학분야 92로 총 551개 문서를 문서의 구조분석을 위하여 조사하였다. 이 연구를 통하여 다음과 같은 텍스트 문서의 구조적인 특성을 조사하였다.
ㅐ 문장의 마지막어절의 표현이 문장의 요약문에 포함될 가능성을 나타내 준다.
한국어 문장에서 마지막 어절은 그 문장의 의미와 표현의도를 나타내는 역할을 한다. 예를 들어 "전망이다", "지시했다"와 같은 류의 마지막 어절로 끝나는 문장은 요약문으로 나타날 가능성이 높다. 반면에 "덧붙였다". "했었다"와 같은 어절로 종료하는 문장은 요약문에 포함되기에는 부적절한 문장이 된다.
ㅐ 문장의 처음 어절이 문장의 요약문에 포함될 가능성을 나타내 준다.
또한 문장의 서두에 나타나는 어절가운데는 그 문장의 특성을 규정짓는 어절들이 많이 나타난다. 이 어절들을 이용하여 해당 문장이 요약문에 포함될 수 있는 지를 판단할 수 있다. 예를 들어 "그러나", "그렇다면", "또", "실제로", "예컨대" 등과 같은 어절은 해당 문장이 사실의 설명이나 보완하는 의미를 지닌 문장임을 나타낸다. 따라서 이런 문장은 요약문에 포함될 수 없다.
ㅐ 문서의 서두에 나타나는 문장이 요약문에 포함될 가능성이 높다.
수작업 요약문장을 분석해 보면 사람에 의한 문서요약은 문서에서 처음으로 나타나는 문장이 요약문에 선정되는 비율이 87.66, 두 번째 문장이 요약문으로 선정되는 비율이 7.99, 세 번째 문장이 요약문으로 선정되는 비율이 1.99, 기타 문장이 나머지를 차지한다. 이는 신문기사가 문서의 서두에서 중요한 내용을 함축하고, 이후부터 이를 자세하게 다루는 일반적인 현상에 일치하고 있다.
ㅐ 문장의 길이가 문장의 특성을 반영한다.
예를 들어 문장의 길이가 아주 긴 문장(중요단어의 전체수가 많은 문장)은 특정 사실에 대한 상세한 설명이나, 앞에서 기술한 사실에 대한 증거되는 내용이나 말들을 나열하는 문장이므로 요약문에 포함되기 어렵다. 또한 아주 짧은 문장( 본 연구에 따르면 1개의 중요단어(명사범주 단어)만을 가지는 문장도 있음)은 문서의 내용을 충분히 담고 있지 못하므로 요약문에 포함될 수 없다.
2) e-mail 문서
전자우편으로 작성된 문서는 편지투의 문장이기는 하나 일반 서간문의 형태를 지니지는 않는다. 따라서 전자우편 문서의 문서요약 성능을 높이기 위하여 전자우편 문서의 구조적인 특성을 파악하는 것이 필요하다. [그림]은 전자우편 문서의 일반적인 형태를 보여준다. 그림에서와 같이 전자우편 문서는 서두와 끝 부분에 인사말이 나오는 경향이 있다.
그러나 전자우편 문서는 다음과 같은 일반 서간문과는 다른 문서의 구조적인 특성이 있다.
ㅐ e-mail에서는 약식표현이 자주 나타난다.
[그림 9] 한글 e-mail 문서의 예
ㅐ 제목을 반드시 가지고 있다.
일반 텍스트와는 다르게 e-mail의 제목이 반드시 내용을 알려주는 역할을 하지는 않는다. e-mail에서는 e-mail의 전체적인 내용을 알려주는 역할과 함께 송신자를 알려주거나 다른 목적으로 제목을 만드는 경우도 많다.
ㅐ 개조식 표현이 많다.
첫째, 둘째, ...와 같은 표현을 많이 사용한다. 또한 문장형태를 갖추지 않고 1. 2.와 같은 형태의 표현을 많이 쓴다.
ㅐ 각 문장에 나타나는 단어들이 변형된 형태의 표현을 자주 사용한다.
예를 들어 "메일"을 "멜"로 나타내거나 "안녕"을 "안뇽"으로 표현하는 등 다양한 표현을 사용한다. 이 표현들은 단어의 출현빈도를 사용하는 본 연구에서는 문장의 통계정보를 왜곡시키는 역할을 한다.
ㅐ 전자우편 주소가 하나의 문장으로 나타나거나 문장의 중요한 구성요소로 나타나는 경우도 많다.
ㅐ Text Art 형식의 표현으로 의사를 전달하기도 한다.
본 연구에서는 1,800개의 USENET 문서를 텍스트로 변환하여 문서의 특성을 조사하였다.
제 6 장 통계적 방법과 문서구조분석을 이용한 문서요약
본 연구에서는 단어의 통계정보를 이용하는 유사도 계산을 보완하기 위하여 다음과 같은 문서의 구조적 정보를 이용하였다.
1) 문서 제목 특성을 이용한 각 문장의 중요도 계산
신문기사나 전자우편과 같은 문서는 대부분이 문서의 제목을 가지고 있다. 특히 신문기사의 경우 제목이 기사의 내용을 함축하고 있으며, 전자우편 문서의 경우도 제목에 문서의 내용을 담고 있다. 따라서 제목과 각 문장간의 유사도를 문서와 문장간의 유사도 계산에 반영하는 것이 통계정보를 이용한 유사도 계산을 보완하는 한 방법이다. 본 연구에서는 다음과 같은 처리과정을 통하여 문서 내 각 문장과 제목과의 유사도를 계산하고 이를 문장과 문서의 유사도 계산에 반영하였다.
각 문장에 포함된 단어들의 통계정보는 문장과 문서의 유사도 계산과정에서 구해진 정보를 그대로 이용하므로 추가적인 처리과정은 필요하지 않다. 이미 구해진 각 단어의 통계정보와 제목의 통계정보를 추출한 후 이를 코사인 유사계수 함수를 이용하여 문장과 제목간의 유사도를 계산한다. 이때 이용되는 말뭉치는 문장의 통계정보를 추출할 때 이용된 말뭉치를 그대로 이용한다.
이와 같은 유사도의 계산을 위한 내부구조는 별도의 구조를 이용하지 않고 문서와 문장간의 유사도 계산을 위한 내부 구조를 그대로 활용한다. 따라서 특별한 추가비용 없이 코사인 유사계수함수의 계산만으로 처리가 가능하다. 실험자료의 평균 문장의 수가 10문장을 넘지 않으며, 신문기사의 내용을 한 문장으로 요약해야 한다는 점에서 수작업 요약문장 가운데 가장 중요한 1 문장에 대한 재현율을 평가하여 [표 4]를 구성하였다. 이 실험결과는 신문기사 자료를 6개
[표 4] 문서 제목의 유사도에 따른 수작업 최적 요약문장의 재현율
분야로 나누어 수집한 자료를 이용하여 실험하였으며, 수작업 요약문장과 비교하여 성능을 평가하였다. 수작업 최적 요약문에 대한 재현율은 다음 수식으로 정의한다.
2) 문장의 위치 정보를 이용한 중요도 계산
문서에서 요약문장은 문서특성상 특별한 위치에 놓여지는 경우가 많다. 특히 신문이나 전자 메일의 경우는 그 특성이 더욱 뚜렷하게 나타난다. 텍스트화 된 신문의 경우 수작업 최적 요약문이 나타나는 문서에서의 위치특성은 [표 5]와 같다.
[표 5] 문서에서 문장의 위치에 따른 수작업 요약문에 포함되는 비율
본 연구에서는 이와 같은 통계 통계자료를 사용하여 문장 위치 특성을 이용한 문장의 요약가능성을 문장과 문서간의 유사도 계산에 반영한다. [표 6]은 문장의 위치정보를 이용했을 때의 수작업 최적 문장의 재현율을 나타낸다.
[표 6] 문장 위치별 수작업 최적 요약문 나타나는 비율
3) 문장의 마지막 어절을 이용한 문장의 중요도 계산
문서에 포함된 각 문장은 문장의 마지막에 나타나는 어절의 형태에 따라서 요약문장의 가능성을 판단할 수 있다. 예를 들어 "덧붙였다", "~했었다" 형태의 어절로 끝나는 문장은 요약문장에 나타날 수 없는 형태이고, "전망이다", "지시했다" 형태의 어절로 끝나는 문장은 요약문장에 포함되어야 하는 형태이다. 본 연구에서는 6개의 분야로 분류된 신문기사의 실험문서로부터 문장의 마지막어절의 형태를 파악하고 그 형태에 따른 요약문의 발생비율을 이용하여 각 문장이 요약문에 포함될 가능성을 계산하였다.
그러나 이 방법을 이용한 요약문의 가능성 계산은 다음과 같은 문제가 있다. 즉 본 연구에서 사용하는 방법을 각 단어의 발생빈도를 이용한 유사도 계산을 중심으로 하고 있다. 이를 위하여 정보검색에서 활용하는 색인기를 이용하여 문장의 중요단어을 추출하는 방식을 채택하고 있다. 따라서 문장의 마지막어절을 처리하기 위하여 색인기에서 제공하는 중요단어를 활용할 수 없다. 왜야하면 색인기가 제공하는 단어들은 명사나 복합명사와 같은 종류의 단어만을 제공하기 때문이다. 따라서 본 연구에서는 마지막 어절의 부분 매칭을 통한 중요도를 계산한다.
[그림 10] 마지막 어절 유형사전의 구성
이를 위하여 본 연구에서는 [그림 10] 같은 구조를 가지는 마지막 어절유형사전을 구축하였다. 이 사전은 현재 1283개의 사전 엔트리로 구성되어 있다. 각 엔트리는 전체 발생빈도와 요약문에 포함된 빈도를 가지고 있다. 이 정보를 활용한 문장의 요약문 포함 가능성은 특별한 스트링 처리를 통하여 정확한 단어를 추출하여 처리하지 않고 각 어절의 부분매칭을 통하여 중요도를 계산하였다.
본 연구에서 활용한 방법은 다음과 같은 과정을 통하여 문장의 마지막 어절을 이용한 요약문 포함 가능성을 계산한다.
먼저 시스템은 주어진 문서의 각 문장으로부터 마지막 어절을 추출한다. 추출된 마지막 어절은 마지막 어절 유형사전의 각 유형과 부분매칭을 시도한다. 부
[그림 11] 마지막 어절 유형사전의 부분매칭 방법
분 매칭된 어절에 대하여 요약문 발생확률을 계산하고, 이 값에 매칭된 비율을 곱하여 각 엔트리의 요약문 포함 가능성으로 한다. 각 엔트리에 대한 가능성의 합을 그 문장의 요약문 포함 가능성의 값으로 설정한다. 이 과정은 다음 수식으로 표현 가능하다.
: 마지막 어절과 사전어절의 일치된 길이
: 사전어절이 요약문에서 발생한 빈도
: 전체 실험문에서 발생한 사전 어절의 빈도
: 사전 어절의 길이 및 문장의 마지막 어절의 길이
[그림 11]은 이 부분매칭의 처리과정을 도식화 한 그림이다. 이 그림에서 (*)로 표시된 사전 엔트리는 부분 매칭이 일어나지만 한글자만 매칭이 일어난 단어이므로 무시하고 그 가중치를 0으로 계산한다. 한국어에서 정상적인 문장은 문장의 마지막 어절이 용언으로 끝나는 경우가 대부분이다. 이 마지막 어절은 용언이고, 용언은 활용을 하기 때문에 용언의 활용에 따라 그 모양이 다양하게 나타난다. 따라서 부분 매칭을 도입하여 활용하는 용언에 대하여 형태소 분석없이 처리하도록 했다. 그러나 (*)의 예에서처럼 한 글자의 매칭은 전혀 의미가 다른 어절에 대하여 매칭이 일어나는 경우도 있어 성능저하를 일으키는 요인이 되므로 본 연구에서는 한글자의 부분매칭은 무시한다.
이와 같이 각 문장의 마지막 어절에 대한 요약문 포함 가능성을 누적 계산하여 문장과 문서 사이의 유사도 계산에 도입하여 산출한 최적 수작업 요약 문장의 재현율은 [표 7]과 같이 나타난다.
[표 7] 마지막어절에 따른 수작업 최적 요약문장의 재현율
4) 문장의 길이를 이용한 문장의 주요도 계산
문서에 나타나는 문장은 다양한 문장 길이를 가진다. 또한 각 문장은 그 길이에 따라 문장의 기능을 알 수 있다. 예를 들어 문장길이가 아주 긴 문장은 특정 내용을 설명하거나, 중요한 사실에 대한 예를 열거하는 형식을 취한다. 이와 같은 형태의 문장은 문서의 중요한 내용을 나타내지 않게 된다. 그러나 아주 짧은 문장 역시 내용을 충분히 표현하지 못 하기 때문에 요약문장에 포함되기는 어렵다. 따라서 문장의 길이 정보를 이용하여 요약문장의 포함 가능성을 계산할 수 있다.
본 연구에서는 각 문장의 길이에 따른 요약문장 포함 가능성을 계산하여 이를 문장과 문서와의 유사도 계산에 도입한다. 이를 위하여 본 연구에서는 하나의 문장에 대하여 색인기가 생성하는 중요단어의 수를 그 문장의 길이정보로 설정한다. 수작업에 의한 실험문서의 요약문장의 길이에 대한 빈도는 [표 8]과 같은 비율로 나타난다.
[표 8] 실험문서 집단에서의 문장길이에 따른 요약문 포함 비율
따라서 본 연구에서는 이 [표 8]의 정보를 이용하여 하나의 문서에서 각 문장의 길이 정보에 따른 요약문 포함 비율을 문서와 문장간의 가중치로 도입한다. 이 가중치를 이용한 수작의 최적 요약문의 재현율은 다음 [표 9]와 같다.
[표 9] 문장의 길이에 따른 수작업 최적 요약문장의 재현율
5) 문장의 시작 어절에 의한 문장의 중요도 계산
문장의 시작어절에 나타나는 단어의 유형은 그 문장이 중요한 문장인지, 아닌지를 나타낸다. 예를 들어 "예를 들어"와 같은 어절로 시작하는 문장은 중요한 내용에 대한 부가적인 설명을 나타내는 문장이다. 따라서 이와 같은 문장은 요약문에 포함될 수 없다. 또한 "또한", "또는", "그러나", "그리고" 등과 같은 어절로 시작하는 문장은 설명에 대하여 보충하는 의미의 문장이므로 요약문에 포함할 수 없다. 따라서 본 연구에서는 실험 문서의 집단으로부터 요약문에 포함될 수 없는 문장의 시작어절을 추출하여 요약문에 포함될 부정적인 가중치를 설정하여 문서와 문장간의 중요도 계산의 가중치로 도입하였다.
[표 10] 시작어절에 따른 수작업 최적 요약문장의 재현율
본 연구에서는 254가지 유형의 문장 시작어절을 조사하여 이를 이용하여 문장과 문서와의 유사도 계산의 가중치로 이용한다. 이 가중치를 이용하여 실험한 결과 수작업 최적 요약문의 재현율은 [표 10]과 같이 나타났다.
제 7 장 한국어 문서요약 시스템
통계정보에 기반한 문서 자동요약 시스템은 문서를 획득하는 단계와 획득한 문서를 요약시스템이 처리 가능한 형태로 변환하는 단계, 변환된 단일 형식의 문서를 요약하는 단계, 요약된 문서의 내용을 사용자에게 보여주기 위한 인터페이스로 구성된다. 또한 이들 각 단계들이 효과적으로 처리되기 위한 지식베이스와 데이터베이스를 함께 활용할 수 있는 추가적인 도구들이 필요하다.
본 연구에서는 이 문서요약 시스템을 Unix 환경 하에서 Web 인터페이스를 활용하는 한국어 문서요약 시스템과 e-mail 문서와 요약문을 함께 제공하는 요약기능을 가진 e-mail 브라우저 시제품 개발의 두 가지로 시스템을 개발하였다.
[그림 12] Web 인터페이스 문서요약 시스템의 구성
제 1 절 한국어 문서요약 시스템
본 연구에서는 Unix 환경의 클라이언트/서버 환경의 문서요약 시스템을 개발하였다. Web 인터페이스를 가지는 한국어 문서요약시스템은 주어진 입력 문서에 대하여 텍스트 문서로의 변환을 위한 "문서변환기" 모듈과 이 모듈을 거친 텍스트 문서에 대하여 문서의 중요단어를 추출하기 위한 "자동색인시스템" 모듈, 추출된 중요단어의 통계정보를 획득하는 단계, 계산된 가중치와 통계정보를 이용한 "문서요약 서버"로 구성된다. 문서의 요약문은 Web 인터페이스를 통하여 시스템 사용자에게 제공된다. 따라서 다음 [그림 12]와 같은 구조를 가진다.
이 시스템의 Web 인터페이스는 HTML파일로 구성하였으며, 사용자는 [그림 13]의 웹 브라우저 인터페이스를 이용하여 문서요약 서버에서 요약된 결과를 받을 수 있다. 사용자는 인터페이스상의 문서파일과 요약 수준을 선택하여 요약 서버에 요약 결과를 요철하고 서버는 입력파일을 받아 처리한 다음 요약결과를 Web 상에서 제공한다.
[그림 13] 한국어 문서요약 시스템
[그림 14]는 신문기사 자료에 대한 한국어 문서요약시스템의 처리결과를 보여준다.
[그림 14] 한국어 문서요약 시스템의 처리결과
[그림 13]의 신문기사 문서의 요약에 대하여 문서의 10%에 해당하는 요약문장을 선택하여 준다. "원문내용"에 나타난 문장 가운데서 가장 전체 기사를 잘 나타내는 문장이 4번째 문장이며 이 문장을 10%의 요약문으로 선택하였다.
제 2 절 한국어 전자 메일 요약 시스템
본 연구에서는 e-mail문서를 요약하는 시스템을 개발하고 요약기능을 가진 e-mail 브라우저를 시제품으로 개발했다. 메일 브라우저는 메일 서버로부터 메일 파일을 받아 메일 요약시스템을 이용하여 이를 요약하고, 요약된 문장과 메일을 내부구조에 저장하고 이를 브라우저에 나타낸다. 전체적인 시스템의 처리과정은 다음[그림 15]와 같다.
"메일요약" 부분에 각 메일의 내용을 요약한 하나의 원문 내용을 보여준다. 본 연구에서는 본문의 내용 중 전체 문서의 내용을 가장 잘 나타내는 문서를 요약문으로 선택하는 방법을 택하고 있기 때문에 가장 전제 내용과 부합되는 하나의 문장을 선택하여 메일 브라우저의 메일 요약부에 제공한다. 만약 메일의 내용에 텍스트가 없는 경우 "없음"이 나타난다. Web 인터페이스의 문서요약시스템과는 달라 이 시스템은 문서요약의 수준을 1 문장으로 고정하여 활용한다.
따라서 제 6 장의 최적문장 재현율을 높이도록 휴리스틱을 적용하였다. 또한 본 연구에서 개발한 e-mail 브라우저는 사용자의 불용어 추가 기능을 두어 사용자의 개인적인 선호도를 반영하도록 시스템을 구현하였다. e-mail 문서는 일반 텍스트와는 달리 다양한 형태의 약어나 은어가 사용된다. 따라서 불용어 선정이 시스템의 성능에 중요한 역할을 하므로 각 사용자의 불용어 사전을 별도로 구성하여 유사도 계산에 이용할 수 있게 한다.
[그림 16] 사용자 정의 불용어 등록
[그림 16]은 사용자 정의 불용어 등록을 위한 대화상자를 이용하는 e-mail 브라우저의 사용자 인터페이스이다.
요약기능을 가진 e-mail브라우저를 구현하기 위하여 메일 서버로부터 받은 메일은 [그림 17]은 같은 과정을 거쳐 메일 브라우저에 나타난다. 이때 문서변환기는 MIME코드를 decode하는 역할을 담당하고, 그 결과로 텍스트 파일을 제공한다. 요약기능을 제공하기 위하여 메일 브라우저의 내부 데이터베이스에 저장되기 전에 문서요약기의 과정을 거쳐 원본 메일파일과 텍스트파일, 요약 결과가 함께 데이터베이스에 저장된다.
[그림 17] 메일 파일의 처리과정
e-mail 브라우저에서 활용하는 데이터 베이스는 다음과 같은 사항을 포함한다.
ㅐ 보낸 사람
원본 메일의 From을 나타내며, 메일 송신자의 이름과 e-mail 주소를 함깨 저장한다. e-mail주소가 길어질 수 있으므로 256byte길이를 지정한다.
ㅐ 받는 사람
원본 메일의 To 항목을 저장하며, 메일 수신자의 이름과 e-mail 주소를 함께 저장한다. e-mail주소가 길어질 수 있으므로 256byte길이를 지정한다.
ㅐ 날짜
원본 메일의 Date 항목을 나타내며, 메일 수신일자와 시간을 저장한다. 총 15Byte를 지정한다.
ㅐ 제목
원본 메일의 Subject 항목을 저장한다. 한 라인의 문장이 가능하므로 256Byte를 지정한다.
ㅐ 텍스트 내용
원본 파일의 Body에 해당하는 부분을 나타내며, 이 원본 부분을 문서변환기를 거쳐 텍스트 파일화 된 부분의 파일 내용을 (Message Id.txt) 파일에 저장하고 데이터베이스에는 파일 이름만 저장한다. Path를 제외한 파일이름만을 저장하므로 50Byte를 지정한다.
ㅐ 원본 메일 내용
순수 원본 파일의 모든 내용을 나타내며, 파일 내용을 모두 저장하지 않고 파일 내용을 (Message Id.org) 파일에 저장하고 데이터베이스에는 파일 이름만 저장한다. Path를 제외한 파일이름만을 저장하므로 50Byte를 지정한다.
ㅐ attach 파일 리스트
attach된 파일을 임시 디렉토리에 저장하고 이들 파일 이름을 저장한다. 이 데이터는 여러 개의 내용이 포함될 수 있으므로 연결리스트로 구성된다. 리스트의 각 노드는 Path를 제외한 파일이름만을 저장하므로 50Byte를 지정한다.
ㅐ 기타 정보
e-mail 브라우저에서 활용할 필요한 각종 Flag 정보를 저장한다.
예를 들면 브라우저에서 사용자가 확인한 메일과 확인하지 않은 메일을 구분하기 위한 Flag가 있다. 전체 1 Byte를 배정한다.
[그림 18] e-mail 브라우저의 데이터베이스 구조
이들 정보가 저장되는 데이터베이스의 레코드 구조는 [그림 18] 같다.
이 데이터 베이스는 임시 폴더에 저장되며, 브라우저가 구동할 때 재 로딩하고, 브라우저의 소멸 시에 다시 저장된다.
본 연구에서 구현된 이 시제품은 다음과 같은 성능을 가지고 있다.
ㅐ MINE decoding 기능 제공
ㅐ e-mail 문서 요약기능
제 8 장 결론
제 1 절 연구개발 결과
본 연구를 통하여 한국어 문서요약 시스템의 시제품을 개발하였다. 시제품 문서요약 시스템은 한국어 문서에 나타나는 단어의 출현빈도 정보(TF, idf)를 전자사전으로 구축하고, 이를 이용하여 문서에서 가장 적합한 요약문장을 선택한다. 또한 한국어 문서의 구조적인 특성을 분석하고 휴리스틱을 추출하여 이를 요약문장의 중요도 계산에 반영하여 시스템의 성능을 향상시켰다.( 필요시 각 분야별로 정확한 자료를 토대로 이야기 할 것)
또한 문서요약 시제품은 Unix환경의 서버와 Web 인터페이스를 가지는 클라이언트/서버 환경의 시스템과 Windows 95환경에서 e-mail 문서를 요약해주는 요약기능을 가진 e-mail브라우저를 개발하였다. 이를 위하여 본 연구에서는 문서의 중요단어를 추출하기 위한 자동색인시스템을 개발하였고, HTML문서나 e-mail의 MIME encoding을 decoding 할 수 있는 문서변환시스템을 개발하였다. 또한 각 단어의 출현빈도에 대한 통계정보를 전자사전으로 유지관리하기 위한 사전관리도구와 관련된 말뭉치를 이용한 말뭉치 전자사전을 구축하였다.
또한 e-mail 브라우저에서 문서요약 성능 향상을 위하여 사용자의 개인적인 선호도를 시스템에 등록하고 이를 활용하여 요약문장을 선택하도록 하였다.
제 2 절 연구개발 결과물
본 연구를 통하여 개발된 연구 결과물은 다음과 같다.
① 말뭉치 구축
- 10 만 건의 문서로부터 추출된 말뭉치 사전
- Ktset Ver 2.0 말뭉치 사전
- 1800개의 e-mail 말뭉치 사전
② 개발 완료된 모듈
、 문서변환시스템 개발
- E-MAIL 문서변환기 개발완료
- HTML 문서변환기 개발완료
、 색인어 추출기 개발완료
- Unix 환경하에서 개발완료
、 텍스트 문서 요약기 개발완료
- Web 인터페이스의 문서요약기 개발
- 요약기능을 가진 e-mail 브라우저 개발
제 3 절 향후연구과제
이 연구에서는 시제품 한국어문서요약 시스템을 개발하였다. 특히 본 연구에서는 문서에 나타나는 중요단어의 출현빈도와 문서의 구조적인 특성을 이용하여 요약문장을 선택하였다. 그러나 문장의 구조적인 분석을 통한 보다 많은 규칙과 특성이 분석되어 알고리즘에 반영되어야 한다. 또한 실용적인 시스템을 위한 시스템 내부적인 효율성제고에 보다 많은 노력이 투자되어야 한다.
또한 HTML이나 MIME과 같은 텍스트 형식이 아닌 문서의 변환은 각기 다른 형식의 문서가 점차 빠르게 바뀌거나 내용이 추가되는 추세이므로 이를 더욱 보완하는 작업이 지속적으로 이루어 여야 한다. 마지막으로 시스템의 요약 성능향상을 위한 다양한 방법이 연구되고 추가되어야 한다.
참고문헌
[Borenstein] Nathaniel S. Borenstein and Ned Freed, "MIME (Multipurpose Internet Mail Extensions)," RFC 1341, June 1992
[Edmundson] H. P. Edmundson, "Problems in Automatic Abstracting," Comm. of the ACM, Vol. 7, No. 4, pp98-101, June 1964.
[Endres-Niggemeyer] B. Endres-Niggemeyer, E. Maier and A. Sigel, "How to implement a Naturalistic Model of Abstraction: Four Core Working Steps of an Expert Abstractor," Information Processing and Management, Vol 31, No. 5, pp631-674, 1995
[Frakes] W. B. Frakes and R. Baeza-Yates, Information Retrival: Data Structures & Algorithms, Prentice-Hall Inc. 1992
[Hovy] E. Hovy and C.Y.Lin, "Automated Text Summarization in SUMMARIST," Proc. of a Workshop on Intelligent Scalable Text Summarization, pp18∼24, 1997
[Jones] S. K. Jones, "Summarising : Analytic Framework, Key Component, experimental Method"
[Jones] S. K. Jones, "What might be a summary?," Proc of Information Retrival 93: Von der Modellierung zur Anwendrung, pp9-26, Universitatsverlag. Konstanz, 1993
[Kupiec] J. Kupiec, J. Pedersen and F. Chen, "A Trainable Document Summarizer," Proc. of 18-th SIGIR Conference, pp68-73, 1995
[Luhn] H.P.Luhn, "The Automatic Creation of Literture Abstracts," IBM Journal, pp159∼165, 1958
[McKeown] K. McKeown and D. R. Radev, "Generating Summarizies of Multiple News Articles," Proc. of 18-th SIGIR Conference, pp74-82, 1995
[Miike] S. Miike, E. Itoh, K. Ono and K. Sumita, "A Full-Text Rertrieval System with a Dynamic Abstract Generation Function, "Proc. of 17-th SIGIR Conference, pp152∼161, 1994
[Mitra] M. Mitra, A. Singhal and C. Buckley, "Automatic Text Summarization by Paragraph, " Proc. of a Workshop on Intelligent Scalable Text Summarization, pp39∼46, 1997
[Ochitani] R. Ochitani, Y. Nakano and F. Nishino, "Goal-Directed Approach for Text Summarization, Proc. of a Workshop on Intelligent Scalable Text Summarization, pp47∼50, 1997
[Paice] C. D. Paice, "Constructing Literature Abstracts by Computer: Techniques and Prospects," Information Processing and Management, 26(1), pp171∼186, 1990
[Postel] Jonathan B. Postel "simple Mail Transfer Protocal", Information Sciences Institute. University of Southern California, 1982.
[Salton] G. Salton, A.Singhal, C. Buckley and M.Mitra, "Automatic Document Decomposition Using Text Segments and Text Themes", Hypertext '96, The Seventh ACM conference on Hypertext, pp53-65, 1996
[Salton] G. Salton and M. J. McGill, Introduction to Modern Information Retrival, McGraw-Hill, 1983
[Salton] G. Salton, Automatic Text Processing, Addison-Wesley Publishing Co. 1989
[Salton] G. Salton, et al, "A Theory of Term Importance in Automatic Text Analysis," JASIS 26(1). pp33-44, 1975
[강상배] 강상배, 조혁규, 권현철, 박재득, 박동인, "한국어 문서의 통계적 정보를 이용한 문서요약 시스템 구현," 제 9회 한글 및 한국어 정보처리 학술대회 논문집, pp29∼33, 1997
[강상배] 강상배, "한국어 문서의 통계적 정보를 이용한 문서요약 시스템 구현," 부산대학교 전자계산학과 이학석사학위논문, 1998.
[송인석] 송인석, 박학로, "텍스트 이해 모델에 기반한 정보검색 시스템," 제 9회 한글 및 한국어 정보처리 학술대회, pp1-6, 1997
[이준영] 이준영, "다중 색인과 압축저장에 의한 정보검색시스템 개발에 관한 연구", 부산대학교 전자계산학과 이학석사 학위논문, 1997.
[장동헌] 장동헌, 맹성현, "문서구조정보를 이용한 학률모델 기반 자동요약 시스템," 제 9회 한글 및 한국어 정보처리 학술대회논문집, pp15∼22, 1997
[장동현] 장동현, 맹성현, "자동요약시스템," 정보과학회지, 제 15권, 제 10호, pp42-49 1997
[정영미] 정영미, 정보검색론, 구미무역출판사, 1988