Evaluation
(Beitrag im Online-Verwaltungslexikon olev.de, Version 1.42)

Bewertung, Begutachtung von Leistung, Wirkung, Erfolg und/oder Effizienz/Wirtschaftlichkeit von Bildungs- oder anderen Prozessen, mit beratender Funktion für die an den evaluierten Prozessen Beteiligten im Unterschied zur Akkreditierung. Als Evaluation wird sowohl die Bewertung selbst als auch der Prozess bezeichnet.

Die (nur) beratende und damit unterstützende Funktion - im Gegensatz zur Kontrolle - ist aber nicht verbindlich geregelt, so dass andere Bedeutungen möglich sind. Insbesondere ist die Programmevaluation oft verbindlich vorgeschrieben und dient der Überprüfung des Programms im Interesse des Auftrag- oder Finanzgebers. (Mehr zum Verhältnis zu anderen Instrumenten / zur Programmevaluation).

Im Verhältnis zu Controlling ist Evaluation aufwändiger, aber auch differenzierter. Speziell im Verwaltungsmanagement kann sie der Gefahr vorschneller Vereinfachungen durch Controlling begegnen[FN4]. Deshalb ist Evaluation ergänzend zu Controlling zu empfehlen (Einzelheiten siehe Buschor ([FN4])).

Evaluation allgemein und im Bildungsbereich

Die nur beratende Funktion der Evaluation stärkt die Eigenverantwortlichkeit derjenigen, deren Aktivität evaluiert wird (z. B. der Fachbereiche, der Lehrenden), sie eignet sich deshalb besonders für Bildungseinrichtungen. Für Hochschulen fordert das Hochschulrahmengesetz die Evaluation von Forschung und Lehre[FN1]. Dabei sind die "Studierenden ... bei der Bewertung der Qualität der Lehre zu beteiligen" (§ 6 Satz 2 HRG), die Ergebnisse sollen veröffentlicht werden (§ 6 Satz 3 HRG).

Unterschiede zu anderen Verfahren liegen in der Funktion und/oder den Adressaten:

• Durch die beratende Funktion unterscheidet sich Evaluation von anderen Verfahren der Kontrolle oder Überprüfung auf Einhaltung bestimmter Standards, z. B. dem Audit im Rahmen des Qualitätsmanagements oder der Akkreditierung.
• Anders als beim Controlling sind alle Beteiligte Adressaten der Ergebnisse, nicht (nur) das Management oder beim Bildungscontrolling die Auftraggeber der Bildungsmaßnahme.
   
• Siehe dazu auch die OECD-Guidelines.

Aktuelle hochschulpolitische Problematik ist die Verwendung von Evaluationsergebnissen für die Leistungsbewertung bei der W-Besoldung der Lehrpersonen.

Evaluation ist ihrerseits auf Erreichung der Ziele hin zu evaluieren (Meta-Evaluation).

Eine Anleitung für Evaluation enthalten die von der OECD veröffentlichten "Guidelines", 1999.

Formative und summative Evaluation

Die formative Evaluation begleitet das Programm, das Projekt, den Lernprozess usw. und soll durch Rückmeldung an die Beteiligten noch im Laufe der Aktivitäten unterstützen, während die summative Evaluation nach Abschluss erfolgt. Die Beurteilung von Programmwirkungen, Lernergebnissen usw. im Sinne von Outcome kann daher eher durch summmative Evaluation erfolgen.

Evaluation in Hochschulen

Hochschulen, die der Verpflichtung zur Evaluation nach § 6 HRG nachkommen, entwickeln jeweils ein konkretes Konzept zur Evaluation. Siehe z. B. das Konzept des Benchmarking Clubs der Fachhochschulen für den öffentlichen Dienst. Danach umfasst die Evaluation:

1. Studierendenbefragung,
2. statistischer Jahresbericht,
3. Eigenanalyse des Fachbereichs,
4. Evaluation von/durch Zielgruppen (durch Befragung, Workshops usw.),
5. externe Evaluation (z. B. durch Peer Review).

In die Evaluation der Ausbildung an den Verwaltungsfachhochschulen sind auch die Praktika einzubeziehen - was entsprechend, wenn auch nicht mit gleichem Stellenwert, für Ausbildungsgänge anderer Hochschulen gilt, die Praktika vorsehen.

Eine Definition und knappe Darstellung enthält auch das Glossar der amtlichen Website zur Bologna-Nachfolgekonferenz in Berlin 2003 (http://www.bologna-berlin2003.de/de/index.htm, übernommen am 11. Mai 2004, Formatierung geändert)

Nutzen von Studierendenbefragung (Teilnehmerbefragungen)

Studierendenbefragungen sind ein unverzichtbarer Teil der Evaluation, aber in ihrem Wert begrenzt. Das ist vor allem deshalb wichtig zu betonen, weil die Tendenz besteht, sie zu einem leicht verwendbaren Instrument für die Entscheidung über Leistungsbezüge im Hochschulbereich zu machen - und wenn demnächst Leistungsbezüge bei allen Beschäftigten, gleich welches personalrechtlichen Status, gelten, ist entsprechendes zu befürchten.

Zusammenfassend setzen sich damit z. B. Fredersdorf/Lehner 2004[FN5] auseinander und führen aus:

Die Schülerinnen und Schüler des deutschen Bildungssystems waren sich der von PISA ermittelten mangelhaften Leistung dieses Systems nicht bewusst, dabei gehen sie lieber zur Schule als die finnischen Schülerinnen und Schüler! Und Lehrkräfte, die sich abmühen, die Vorurteile ihrer Studierenden zu erschüttern, die diese aus ihren bisherigen Erfahrungen mitbringen

über die berufliche Praxis, Sinn und Unsinn von Reformen generell und bestimmter Reformelemente im Besonderen, über die "richtige" Organisation und Führung und "richtiges" berufliches Verhalten allgemein und in Konfliktfällen

und neue und differenziertere Sichtweisen zu vermitteln, werden eher schlecht bewertet, weil die Studierenden dies als Verunsicherung und Kritik erleben.

Damit könnte sich ein Teil von Bewertungsunterschieden erklären, den die Evaluation bisher ergeben hat: Fächer mit geringer "Vorbelastung" durch Vorverständnis und Vorurteile können besser abschneiden, dazu gehören zumeist die juristischen Fächer (wer wagt es schon, der Fachkompetenz der juristischen Lehrperson zu widersprechen? Aber beim Thema "Organisation" und "Führung" können alle mitreden!), bestimmte andere Fächer werden regelmäßig schlechter abschneiden, wenn sie ihrem Bildungsauftrag gerecht werden wollen.

Deshalb sollte die Studierendenbefragung nur als Teilbeitrag zur Evaluation verstanden und entsprechend vorsichtig verwertet werden. Gemessen wird nur "Zufriedenheit", nicht Lernerfolg, erst Recht nicht, ob das Richtige gelernt, die Fähigkeit zur Bewältigung der Anforderungen der Berufspraxis verbessert wurde!

Siehe auch den Beitrag Bildungscontrolling.

Alternative Definition:
"A process of gathering and analyzing information for the purpose of determining whether a program is carrying out the activities that it had planned and the extent to which the program is achieving its stated objectives (through these activities). The evaluation is used as a tool to learn how the program is most effective and/or what modifications should be made to improve services." [FN3]

Verwandte Gebiete / Fragestellungen

Evaluation ist verwandt

• mit Controlling, insbesondere Bildungscontrolling, Benchmarking, Audit (zur Abgrenzung sie oben). Im Verhältnis zu Controlling ist Evaluation aufwändiger, aber auch differenzierter. Speziell im Verwaltungsmanagement kann sie der Gefahr vorschneller Vereinfachungen durch Controlling begegnen[FN4]. Deshalb ist Evaluation ergänzend zu Controlling zu empfehlen (Einzelheiten siehe Buschor ([FN4])).
• mit Gesetzesfolgenabschätzung (GFA) als nachträglicher Überprüfung, ob die beabsichtigten Wirkungen eingetreten und die nicht gewollten Nebenwirkungen vermieden worden sind, und
• der politischen Erfolgskontrolle, die jedoch in einen anderen normativen Rahmen eingeordnet ist.
• Evaluation ist Voraussetzung für die Akkreditierung im Hochschulbereich.

Politikwissenschaftlich bearbeitet wird schon lange das Thema der Erfolgskontrolle, siehe z. B. Derlien, Hans-Ulrich: Die Erfolgskontrolle staatlicher Planung. Baden-Baden 1976, sowie in diesem Zusammenhang auch die Arbeiten der Gesellschaft für Programmforschung.

OECD: Best Practice Guidelines For Evaluation, 1999 (Online-Quelle)

Die OECD-Guidelines erörtern Sinn und Zweck der Evaluation, die Abgrenzung zu anderen Instrumenten und formulieren Vorschläge für das Vorgehen bei der Verwendung von Evaluation einschließlich der strategischen Perspektive und der Einbindung in den politischen Handlungsrahmen. Im Folgenden einige Auszüge:

"Evaluations are analytical assessments addressing results of public policies, organisations or programmes, that emphasise reliability and usefulness of findings. Their role is to improve information and reduce uncertainty; however, even evaluations based on rigorous methods rely significantly on judgement. A distinction can be made between ex-ante evaluations (or policy reviews) and ex-post evaluations. Many practices discussed in these Guidelines apply equally to both, even if their objectives are different." (S. 6)

Die besondere Vorgehensweise wird auf S. 9 wie folgt formuliert:

"Evaluation persuades rather than convinces, argues rather than demonstrates, is credible rather than certain, is variably accepted rather than compelling."

Einen Vergleich mit anderen Bewertungs- und Rückkoppelungsverfahren enthält die folgende Tabelle (übernommen von S. 11):

Difference Between Evaluation and Other Feedback Mechanisms

• Scientific studies Evaluations focus on practical use of information • Traditional audits Evaluations study public spending from a wider viewpoint - also questioning whether the objectives of the programme are appropriate and efficiently and effectively achieved (the distinction between audit and evaluation is often somewhat blurred and will be discussed later). • Monitoring Evaluation is often conducted as a single effort and seeks to gain more in-depth information of a programme in question, although the existence of well-functioning, regular monitoring systems is often a necessary basis for successful evaluations. • Performance measurement Evaluation strives for more: it tries to find explanations for observed outcomes and understand the logic of public intervention (however, well-designed performance measurement systems are, for example in the USA, often identified as one form of evaluation). • Policy analysis Evaluation focus on ex post assessment. Policy analysis is sometimes defined as ex ante evaluation in studying future policy options.

Quelle: OECD, Public Management Service / Public Management Committee: Improving Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper. Januar 1999, S. 11. Online-Quelle

Internet-Adressen (Link-Sammlung)

Evaluation im Hochschulbereich

• Kultusministerkonferenz KMK
• Hochschulrektorenkonferenz HRK, siehe u.a. die Informationen zu Qualitätssicherung
• Service-Stelle Bologna der HRK mit einem Glossar zum Bologna-Prozess
• HIS Hochschul-Informations-System GmbH in Hannover,
  insbesondere mit dem Evaluationsnetzwerk im Auftrag des Projekts Q der Hochschulrektorenkonferenz
• Centrum für Hochschulentwicklung CHE in Güterloh.
• der Akkreditierungsrat sowie verschiedene weitere Evaluations- und Akkreditierungsagenturen,
• Deutsche Gesellschaft für Evaluation (DeGEval).
  

Europäische und internationale Quellen

• European Network for Quality Assurance in Higher Education (enqa)
• International Network for Quality Assurance Agencies in Higher Education (INQAAHE)
  

Literatur

• Zentrale Evaluations- und Akkreditierungsagentur Hannover (ZEvA): Qualitätssicherung in Lehre und Studium - Erst- und Folgeevaluationen sowie Akkreditierungen, 2003 (Online-Quelle 2004-05-25)
• ZEvA: Leitfaden zur Befragung in der internen Evaluation (Online-Quelle)

jeweils mit weiteren Literaturangaben.

Materialien speziell für Verwaltungsfachhochschulen siehe die Evaluations-Website für den BMC der FHöD.

Zu Evaluation allgemein:

• OECD, Public Management Service / Public Management Committee: Improving Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper. Januar 1999. Online-Quelle (2006-05-29)

- Weiteres Material (in Arbeit) -

Entwicklungspolitik: Wichtige Prinzipien für Evaluierungen sind:

Unparteilichkeit und Unabhängigkeit
(zum Beispiel der Gutachter)

Glaubwürdigkeit
(zum Beispiel nachvollziehbare Ergebnisse)

Partizipation
(zum Beispiel des Partnerlandes)

Nützlichkeit
(zum Beispiel Umsetzung der Empfehlungen)

Transparenz und Verbreitung
(zum Beispiel der Endberichte)

Wichtige Evaluierungsfragen und Kriterien sind:
Relevanz
(zum Beispiel: Welche Bedeutung hat das Programm für die arme Bevölkerung im Partnerland?)

Effektivität
(zum Beispiel: Wurden die Programmziele erreicht?)

Effizienz
(zum Beispiel: Wurden die Gelder überlegt ausgegeben?)

Wirkung
(zum Beispiel: Welchen Nutzen haben die Menschen von den Programmen?)

Nachhaltigkeit
(zum Beispiel: Hat das Bewirkte auch nach dem Ende der Förderung Bestand?)

Unterscheidungen nach Holz auf der Heide [FN2]

Implizite Evaluation

• Beurteilung eines Programmes durch einen der Entwickler

Explizite Evaluation

• Gezielte und systematische Datenerhebung und Analyse
  • Expertenbasiert (Expert based)
    • Wissen, Intuition und wissenschaftliche Prinzipien werden genutzt
  • Benutzerbasiert (User based)
    • Beurteilung durch den Benutzer selbst anhand persönlicher Erfahrungen, mündliche oder schriftliche Befragung
  • Versuchspersonenbasiert (Subject based), auch als verhaltensbasierter Ansatz bezeichnet
    • Aufgaben sind zu lösen und die dabei durch Beobachtungen, Video- und Rechneraufzeichnungen gewonnen Daten werden analysiert
  • Theoriebasiert (Theory based)
    • formalisierte Untersuchung vom Verhältnis Nutzer/System
  • Marktbasiert (Market based)
    • Marktposition wird bewertet

Anmerkungen