Download 785kB - FORBA

41
1. DIE VERFAHREN
In der Folge wird auf die untersuchten Verfahren mit Bezug zur Richtlinie eingegangen.
Ausgangspunkt für diese Analyse war die Entwicklung eines Eigenschaftskatalogs, anhand
dessen jedes Verfahren erfasst werden konnte. Im ersten Teil dieses Kapitels wird der Katalog vorgestellt. Danach werden die Verfahren entsprechend ihrer herausragendsten Eigenschaften kurz vorgestellt. Aus Gründen der Übersichtlichkeit und Lesbarkeit befindet
sich die ausführliche Darstellung der Verfahren in Anhang 2.
1.1
DER ANALYSEKATALOG
Die Suche nach einem für die Analyse existierender Verfahren und Kriterienlisten
anwendbaren Beschreibungskatalogs stellte einen bedeutenden Teil der Untersuchungen
dar. Die Vielfalt der erfassten Verfahren erforderte es, den ursprünglichen Katalog mehrmals zu überarbeiten. Erst in der vorliegenden Fassung können die unterschiedlichen Dimensionen (z.B. Wissenschaftsdisziplinen), Elemente (z.B. Kriterien) und Wirkungsweisen (z.B. Aufwand beim Einsatz) verfahrensgerecht erfasst werden.
Da die Richtlinie den Anstoß für die Evaluation der Verfahren gab, mussten entgegen früheren Arbeiten - wie z.B. der Arbeit von W. Hampe-Neteler und K.-H. Rödiger über "Verfahren der Evaluierung und Standards zur Entwicklung von Benutzeroberflächen" - Bewertungsfelder eingeführt werden, die den ursprünglichen Umfang deutlich erweiterten.
Hampe-Neteler und Rödiger bemerkten in ihrer Arbeit (1992), dass die von ihnen untersuchten Evaluationsverfahren nicht leicht zu vergleichen waren. "Sie (die Verfahren) benutzen eine uneinheitliche Terminologie, zielen auf verschiedene Bewertungsgegenstände
ab, benutzen unterschiedliche Verfahren der Datenerhebung und -bewertung und sind sehr
verschieden theoretisch elaboriert. (...) Bisher existiert keine allgemeingültige Taxonomie
von Evaluationsverfahren, die eine Einordnung aller gängigen Verfahren in ein
Vergleichbarkeitsschema unterstützt. (...) Darüber hinaus lässt sich zum jetzigen
Zeitpunkt auch kein Kriterienraster entwickeln, das aus verfahrens- und gegenstandsimmanenten Gesichtspunkten heraus logisch wäre."
Die wesentlichen Gesichtspunkte bei der Beurteilung von Evaluationsmethoden waren in
ihrer Arbeit
- Anlässe zur Evaluation: Bewertung der Frage, zu welchem Zweck, mit welchem Ziel
oder mit welcher Absicht evaluiert wird?
- Evaluationsschwerpunkte: Einteilung
organisationsorientierte Evaluation.
in
system-,
personen-,
aufgaben-
und
- Theoretische Fundierung: "Für eine Einordnung und Bewertung der Verfahren bildet
die theoretische Fundierung eine gute Grundlage."