Download Full Paper

Contents
1 Introduction
1.1 Document Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Thanks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
2
3
3
2 Testbed Design
2.1 Experiments with Algorithms . . . . . . . . . . . .
2.1.1 Examples . . . . . . . . . . . . . . . . . . .
2.1.2 Process Analysis . . . . . . . . . . . . . . .
2.2 Requirements for a Testbed . . . . . . . . . . . . .
2.3 Components of Experimentation . . . . . . . . . . .
2.3.1 Integration and Specification of Algorithms .
2.3.2 Problem Instances . . . . . . . . . . . . . .
2.3.3 Configuration and Experimentation . . . . .
2.3.4 Statistical Analysis . . . . . . . . . . . . . .
2.4 Data Management . . . . . . . . . . . . . . . . . .
2.5 Architecture and Implementation . . . . . . . . . .
2.5.1 Implementation . . . . . . . . . . . . . . . .
2.5.2 System Requirements and Authentication .
2.5.3 Database . . . . . . . . . . . . . . . . . . .
2.5.4 Distribution of Jobs . . . . . . . . . . . . . .
2.5.5 Statistical Analysis . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
5
5
7
11
13
14
32
32
34
40
42
42
43
46
47
48
3 User Interface Description
3.1 Installation . . . . . . . . . . . . . .
3.1.1 System Requirements . . . . .
3.1.2 Required Software Installation
3.1.3 Installing the Testbed . . . .
3.1.4 Configuring the Testbed . . .
3.2 Getting Started . . . . . . . . . . . .
3.2.1 Example Module . . . . . . .
3.2.2 Installing a Module . . . . . .
3.2.3 Importing Problem Instances
3.2.4 Creating an Algorithm . . . .
3.2.5 Creating a Configuration . . .
3.2.6 Creating an Experiment . . .
3.2.7 Running an Experiment . . .
3.2.8 Evaluating an Experiment . .
3.3 Testbed in Detail . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
50
51
52
54
61
69
74
74
76
77
78
80
82
84
85
95
i
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.