Download NiuTrans Open Source Statistical Machine Translation System

TABLE OF CONTENTS
4.2.2
4.3
4.4
Step 2
Step 3
4.4.1
4.4.2
4.5
4.6
Step 4
4.5.1
4.5.2
Step 5
4.6.1
4.6.2
4.2.1.2 Obtaining Lexical Translation . . .
4.2.1.3 Generating Hierarchical-Rule Table
4.2.1.4 Hierarchical-Rule Table Filtering . .
NiuTrans.Syntax . . . . . . . . . . . . . . . .
4.2.2.1 Rule Extraction . . . . . . . . . . .
4.2.2.2 Obtaining Lexical Translation . . .
4.2.2.3 Generating Syntax-Rule Table . . .
4.2.2.4 Syntax-Rule Table Filtering . . . . .
- N -gram Language Modeling . . . . . . . . .
- Configuring the Decoder . . . . . . . . . . .
NiuTrans.Hierarchy . . . . . . . . . . . . . .
4.4.1.1 Config File . . . . . . . . . . . . . .
4.4.1.2 Generating the Config File . . . . .
NiuTrans.Syntax . . . . . . . . . . . . . . . .
4.4.2.1 Config File . . . . . . . . . . . . . .
4.4.2.2 Generating the Config File . . . . .
- Weight Tuning . . . . . . . . . . . . . . . .
NiuTrans.Hierarchy . . . . . . . . . . . . . .
NiuTrans.Syntax . . . . . . . . . . . . . . . .
- Decoding . . . . . . . . . . . . . . . . . . . .
NiuTrans.Hierarchy . . . . . . . . . . . . . .
NiuTrans.Syntax . . . . . . . . . . . . . . . .
v
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Chapter 5
Additional Features
5.1 Generating N -Best Lists . . . . . . . . . . . . . . . . .
5.2 Enlarging Beam Width . . . . . . . . . . . . . . . . . .
5.3 Supported Pruning Methods . . . . . . . . . . . . . . .
5.4 Speeding up the Decoder . . . . . . . . . . . . . . . .
5.5 Involving More Reference Translations . . . . . . . . .
5.6 Using Higher Order N -gram Language Models . . . .
5.7 Controlling Phrase Table Size . . . . . . . . . . . . . .
5.8 Scaling ME-based Reordering Model to Larger Corpus
5.9 Scaling MSD Reordering Model to Larger Corpus . . .
5.10 Adding Self-developed Features into NiuTrans . . . . .
5.11 Plugging External Translations into the Decoder . . .
Appendix A
Data Preparation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
61
62
64
65
66
68
69
72
74
75
75
75
78
78
78
81
83
83
84
85
85
86
.
.
.
.
.
.
.
.
.
.
.
88
88
88
89
89
90
91
92
92
93
94
95
96