제2장 자연언어처리의 역사

Early History (1)

• 최초의 시도

– Warren Weaver : 기계번역 제안(1949)

– Idea: Translation is a process of dictionary lookup, plus substitution, plus grammatical reordering.

– Example

I must go home

Ich muss nach hause gehen

• 초기 기계번역 연구

– W.Weaver and A.D.Booth : 영어-불어 (Early 1950)

– George Town Univ.와 IBM : 러시아어-영어 (1954)

2

Early History (2) - 초기 기계번역의 교훈 -

• Translation is really not possible without understanding. – Example (English Russian English) The spirit is willing but flesh is weak The vodka is strong but the meat is rotten.

• A great amount of world knowledge was needed, a program had to understand what was being said in order to be able to translate it properly.

The pen is in the box. The box is in the pen.

• Syntactic Ambiguities They are flying planes. Time flies like an arrow. He saw a man on the hill with a telescope.

• Give a great deal of impetus to work on syntactic theories.

3

Early History (3) - 정보 검색 -

• IBM

– 1950년대말 대량의 연구 논문을 대상으로 한

정보검색 연구 시작

– 1964년에 의학문헌의 정보검색 시스템

MEDLARS 서비스 개시

4

Early History (4) - 기타 관련 연구 -

• Automata Theory

– 1950년대말부터 1960년대에 여러 Automata 모델 제안

– 계산 이론의 기초일 뿐만 아니라, 언어 분석 모델로서 중요한 역할

• Introduction of the idea of heuristic search

– Newell and Simon (1956)

• Introduction of the LISP programming language

– John McCarthy (1960)

5

Early History (5) - 언어학 이론 -

• Chomsky

– Syntactic Structure(1957), Aspect of the Theory of Syntax(1965)

– 변형 생성 문법 • 구구조 개념, 변형 개념

• 문장의 기본은 구구조이며, 문장은 구구조의 변형이다.

• C. Hockett

– Grammar for the Hearer(1961)

– 인간의 언어 이해는 문장을 끝까지 다 들은 후, 구문분석을 시도하는 것이 아니고, 문장을 들으면서 그 때까지의 구문구조를 이해하고 있으며, 다음에 어떤 어구, 문장의 구조가 발화되는지 예상하면서 듣는다.

6

1960년대의 자연언어처리

• Ideas

– The use of limited domains for language-understanding systems

– The use of key words to trigger certain actions

– The translation of English into formal languages

• Some Systems

– Key-word systems : ELIZA, DOCTOR, PARRY, etc.

– Translating English into a Formal System : STUDENT

– Data-base Question Answering : BASEBALL

7

BASEBALL (1)

• Bert F. Green, Jr., Alice K. Wolf, Carol Chomsky,

and Kenneth Laughery (1963)

• Database Question Answering system

– Database query generation from English

–미국 프로야구 자료를 자연언어로 검색하는

시스템

8

BASEBALL (2)

• BASEBALL’S database

• Question: “Who did the Yankees play on July 7?”

• After Query Generator (OR (July 7 – Yankees/– ?ANSWER/–

(July 7 – ?ANSWER/– Yankees – ) )

• Answer : “Red Sox”

9

MONTH PLACE DAY GAME WINNER/SCORE LOSER/SCORE

July

July

July

Cleveland

Boston

Detroit

6

7

7

95

96

97

White Sox/2

Red Sox/5

Tigers/10

Indians/0

Yankees/3

Athletics/2

ELIZA (1)

• Joseph Weizenbaum (at MIT), 1966

• 인간과 컴퓨터간의 대화 시스템

– Key-word에 의한 패턴 비교 기법 이용

– 상당한 지적 능력을 가진 시스템처럼 보여짐

10

Pattern Respond

(* computers *)

(* mother *)

(* I believe that *)

<nothing matched>

Do computers frighten you?

Tell me more about your family.

How long have you believe that .

Please go on.

ELIZA (2) User : Men are all alike.

Eliza : In what way?

User : They’re always bugging us about something or other.

Eliza : Can you think of a specific example?

User : Well, my boyfriend made me come here.

Eliza : Your boyfriend made you come here.

User : He says I’m depressed much of the time.

Eliza : I am sorry to hear you are depressed.

User : It’s true. I am unhappy.

Eliza : Do you think coming here will help you not to be unhappy?

User : I need some help; that much seems certain.

Eliza : What would it mean to you if you got some help?

User : Perhaps I could learn to get along with my mother.

Eliza : Tell me more about your family.

11

STUDENT

• Developed by Daniel Bobrow, 1968.

• Translates algebra problems into a set of linear equations

– John’s age now is two times Mary’s age. JA = 2 * MA

– In three years John will be 6 years older than Mary. JA + 3 = MA + 6

• 패턴 비교 기법 이용

– 패턴의 빈자리(slot)에 필요한 요소를 끼워넣는 방법

– 단순한 패턴 비교와 소수의 경험적 규칙만으로도 문장의 분석이 가능하다는 것을 보여준 프로그램

12

격문법 (Case Grammar)

• C. Fillmore (1968)

• 문장의 각 주요 명사구가 술어 동사에 대해 어떤 격으로 역할하는가에 주목

• 격관계를 의미적으로 해석

• 행위자격(agent), 대상격(object), 도구격(instrument) 등

• 다음 두 문장의 표면구조는 다르나 심층격은 동일 He opened the door by the key. A key opened the door

• 기계적으로 처리하기 매우 어려움 – 하나 하나의 개별 동사에 대해 그 동사가 어떤 의미의

격(명사구)를 요구하는지 상세하게 사전에 기술해야 함 – 의미소라는 것을 수십 내지 수 백개 설정

13

1970년대의 자연언어처리

• The flowering of Semantic Information

Processing and Seeds of Cognitive Science

• Systems

– SHRDLU (1972)

– LUNAR (1972)

– MARGIE (1973)

– NLPQ (1974)

14

SHRDLU • Terry Winograd (1972)

• Transform sentences into programs (in Block-world domain) – Carry out various tasks(e.g., moving blocks on a table), or search for

information in SHRDLU’s database, or generate an answer for its user.

• Can handle sentences exhibiting a wide variety of linguistic phenomena – Interpreted declarative sentences as database updates, interrogative

sentences as database searches, and imperative sentences as specifications for goals; these goals were achieved

• Linguistic coverage was very broad compared to previous programs – Can handle quantifications, generate natural-sounding dialogue, and

answer questions about the history of its dialogue and plan execution.

15

LUNAR • Woods, Kaplan, and Nash-Webber (1972)

• A Natural Language Front-end for a database

containing moon rock sample analysis

• Use ATNs (Augmented Transition Networks)

• Very general notion of quantification based on

predicate calculus

• Use sophisticated techniques to translate

questions into database queries.

16

SHRDLU and LUNAR

• Use relatively unconstrained language

• Work in very narrow domain

– SHRDLU : Block-world

– LUNAR : Moon-rock sample analysis

• Have complete, privileged knowledge of their

work

17

MARGIE (1)

• Shank, Goldman, Rieger, and Riesbeck (1973)

• Deal with much more unconstrained language, particularly language about human actions

• Based on Conceptual Dependency Theory (by Shank)

– Every EVENT has : an ACTOR an ACTION performed by that actor an OBJECT that the action is performed upon a DIRECTION in which that action is oriented

– CD primitive actions ATRANS MTRANS SPEAK INGEST PTRANS MBUILD GRASP EXPEL PROPEL ATTEND MOVE

18

MARGIE (2) (e.g.) John gave Mary a book.

actor John action ATRANS /* transfer possession */ object book direction FROM John TO Mary

19

John ATRANS book P O R Mary

John

1970년대의 교훈

• Knowledge Representation – Central importance to all natural processing

– Issues • How should items in memory be indexed and accessed

• How should context be represented

• How should memory be updated

• How can programs deal with inconsistency

• Common Sense

– Knowledge of the outside world

(e.g.) The city councilmen refused the women a permit because they feared violence // they : city councilmen they advocated revolution // they : women

20

FRAMES

• Minskey, 1975

• Structures consisting of a core and slots

• Each slot corresponding to

– Either a facet or participant of a concept embodied in

the frame or a space for a pointer to a related concept

• Provide a neat explanation for “default reasoning”

21

SCRIPTS

• Roger Shank and his collaborators at Yale (1977)

• (e.g.) Track : Coffee Shop

Props : Table Roles : S – Customers

Manu W – Waiters

F – Food C – Cook

Check M – Cashier

Money O – Owner

22

Unification-based Grammar Formalisms

• Grammatical Theories – LFG (Lexical Functional Grammar) : Bresnan (1982)

– GPSP (Generalized Phrase Structure Grammar) : Gazdar (1985)

– HPSG (Head-driven Phrase Structure Grammar) : Pollard (1985)

• Grammatical Tools

– DCG (Definite Clause Grammar) : Pereira & Warren (1980)

– FUG (Functional Unification Grammar) : Kay (1983)

– PATR-II : Shieber et al. (1983)

23

Unification-based Grammar Formalisms

• Augmented Phrase Structure Grammar

– Context-Free based grammar rules

– Use feature structures instead of simple grammar symbols

• Feature structure

– Complex-feature-based informational elements

– Associations between features and values

• Unification

– Information-combining operation

– main operation in unification-based grammar formalisms

24

Feature Structure • 명사 “철수”와 동사 “먹다”의 자질 구조 (HPSG의 예)

25

LEX

N MAJ HEAD LOC SYN

철수"" PHON

LEX

OBJ GR

N MAJ HEAD|LOC|SYN

SUBJ GR

N MAJ HEAD|LOC|SYN

SUBCAT

V MAJ HEAD

LOC SYN

"먹다" PHON

Unification

26

)2( third:person

singular:number:agreement FS

)1( NP:cat FS

)3(

third:person

singular:number:agreement

NP:cat

2 1 FSFSFS

Unification

)3(

third:person

singular :number : agreement

NP :cat

FS

27

)4(

plural :number : agreement

NP :cat FS

FailednUnificatioFSFS 4 3

Unification of FS3 and FS4 is failed because the values of “agreement :

number” feature of them are not the same (conflict)

최근 자연언어처리 연구동향

• 문법 규칙의 단순화, 사전의 대용량화

– 각종 대용량 분석 사전, 시소러스 등

• Corpus에 기반한 언어처리

– 원시 Corpus, Tagged Corpus

– 문법, 어휘 정보 등 각종 언어 정보 추출

– 통계 기반 언어 처리 기계학습 기반 언어처리

• 실용 수준의 자연언어처리 시스템 개발

– 상용 기계번역 시스템

– 정보 검색 시스템

– 문서 분류, 요약 시스템 등

• 딥 러닝 (Deep Learning) 기술의 발달 – 이미지 인식, 음성 인식 분야에서 딥 러닝 기술이 최고의 성능을 보여줌

– 자연어처리 분야에도 최근 딥 러닝 기술이 많은 응용 분야에서 최고 성능을 보여주고 있음

28

기계 번역의 역사 (1)

• GAT

– 1952년에 시작하여 1965년에 완성

–소련어-영어 번역 시스템

–번역 대상 : 물리학 분야 논문

–단어 대 단어에 숙어 처리 가미

–번역의 질은 매우 떨어졌으나, 1979년까지 미국

원자에너지국에서 사용

29

기계 번역의 역사 (2)

• CETA

– 1967년에 완성되어 1971년까지 사용

– 프랑스 Grenoble 대학에서 시작

– 언어학 이론에 기반한 번역

– Interlingua 방식 (Pivot approach)

• Interlingua : 개별 언어와 독립적 표현

• GETA

– CETA의 후속 시스템

– CETA의 실패를 거울 삼아 변환 방식(transfer approach) 채택

30

기계 번역의 역사 (3)

• TAUM

– 일기예보 대상

– 영어-불어 번역 시스템

– 순수한 변환 방식

• METEO

– TAUM을 확장한 완전 자동 번역 시스템

– 번역 성공률이 90-95% 수준

• 실패하는 경우도 대부분 철자 오류 등임

31

기계 번역의 역사 (4)

• SYSTRAN

– 최초로 상품화된 기계번역 시스템

– 1970년 미국 연방 정부 FTD 사용 (러시아-영어)

– 1974년 NASA 사용 (러시아-영어)

– 1976년 EC 사용 (영어-불어)

– 1978년 불어-영어

– 1979년 영어-이태리어

– 1985년 불어-독어, 영어-독어

32

기계 번역의 역사 (5)

• METAL

– 1982년에 개발된 독어-영어 양방향 기계 번역 시스템

– GPSG를 이용한 영어 분석

• EUROTRA

– 유럽 공동체의 9개 언어 번역을 시도

– 1992년 1단계 연구 종료 : 시스템 개발에는 실패

– 유럽 공동체 예산의 40% 정도가 번역 비용으로 드는

만큼, 연구 개발이 계속될 전망

33

기계 번역의 역사 (6)

• 일본의 연구

– 1964년 교토대학 Nagao 교수에 의해 시작

– 1990년 현재 20여개 시스템이 상품화

– 기계 번역 연구를 가장 활발히 진행하는 국가 중 하나임

• 한국의 연구

– 1980년 정도부터 대학 및 연구소에서 연구 시작

– 현재 영-한, 일-한, 한-일 번역 시스템 상품화

– 대학, 기업체 중심으로 연구 개발

34

기계 번역의 역사 (7)

• Statistical Machine Translation (SMT)

– 구글 번역기, …

– Word based model • GIZA++ (IBM model 1~6)

– Phrase based model • Moses

• Parallel corpus (sentence aligned corpus) word alignment (GIZA++) phrase extraction reordering model language model (SRILM) decoding

35

SMT: example

36

기계 번역의 역사 (8)

• Neural Machine Translation (NMT)

– 딥 러닝을 이용한 end-to-end 기계번역 시스템

– Word-based Recurrent Neural Network (RNN) encoder + RNN decoder로 구성됨

• Parallel corpus (sentence aligned corpus) NMT training RNN decoding

– 최근에는 Attention Mechanism을 도입하여 더욱 높은 성능을 보임

– Phrase-based MT, Hierarchical Phrase-based MT 보다 높은 성능을 보임

37

NMT example

38