Download Quantified Maximum Entropy MemSys5 Users` Manual

Contents
Introduction
7
I
9
Theory
1 Probability theory and Bayes’ Theorem
11
1.1 Bayesian calculus for scientific inference . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2 Entropic prior for a distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3 Gaussian likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Classic maximum entropy
2.1 Classic maximum entropy . . . . . . . . . . . . . .
2.2 Inferences about the reconstruction . . . . . . . . .
2.3 Basic iterative algorithm . . . . . . . . . . . . . . .
2.4 The intrinsic correlation function . . . . . . . . . .
2.5 Predicted data . . . . . . . . . . . . . . . . . . . .
2.6 Inferences about the noise level and other variables
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
17
17
24
26
29
29
30
3 Extensions and generalisations
3.1 Positive/negative distributions
3.2 Fermi–Dirac distributions . . .
3.3 Quadratic entropy . . . . . . .
3.4 Fixed total . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
33
33
34
34
34
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4 Algorithmic details
35
4.1 Iterative algorithm in hidden space . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2 Vector coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.3 Data-space algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
II
Practice
41
5 The MemSys5 software package
43
6 Storage areas
45
6.1 Area structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.2 Initialisation: MEINIT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.3 Area handling and overlaying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3