Bewertungstechniken

Dieser Beitrag erklärt und beurteilt sehr anschaulich folgende Bewertungstechniken: Wirtschaftlichkeitsrechnungen, verbale Bewertung, Nutzwertanalyse, Kosten-Wirksamkeits-Analyse und visuelle Bewertung.

16.03.2005
2.9 Sterne
21794x angezeigt
Projektmanagement

Bewertungstechniken

In der Bewertung werden die in Frage kommenden Varianten den Zielen bzw. Kriterien gegenübergestellt. Die Eignung einer Variante hängt ab vom Grad der Zielerreichung. Nur in den seltensten Fällen können organisatorische Lösungen ausschließlich quantitativ bewertet werden. Aufwendungen lassen sich weitgehend in Geldeinheiten ausdrücken und damit quantifizieren. Die Ertragsseite ist jedoch selten eindeutig in Geld- oder Mengeneinheiten zu erfassen, neben quantifizierbaren Kriterien gibt es fast immer auch qualitative Beurteilungsmaßstäbe. Deswegen müssen meistens Hilfsrechnungen verwendet werden, in denen qualitative Nutzenschätzungen in "quantifizierte" Werte überführtwerden. Ein weiteres Problem ist die Subjektivität jeder Bewertung, die mit quantitativen (z.B. Erwartung zukünftiger Kosten) wie mit qualitativen (z.B. gute Kundenkenntnis) Zielen fast immer verbunden ist. Jedes Bewertungsverfahren baut im Kern auf subjektiven Größen auf.

Subjektive Einflüsse gibt es schon vor der eigentlichen Bewertung. Auch die Zielfindung (was wird als Ziel anerkannt?) und die Zielgewichtung sind nicht objektivierbar. Einseitige subjektive Verzerrungen können begrenzt werden, indem der Zielfindungs- und Bewertungsvorgang von mehreren Mitarbeitern oder von einer Gruppe übernommen wird. Wesentlich ist dabei allerdings, dass nicht alle Bewerter die "gleiche Brille aufhaben", d.h. die gleiche Urteilsposition einnehmen, andernfalls wird die "Subjektivität" u.U. noch erhöht.

Beispiel: Es hat keinen Sinn, mehrere Verkäufer hinsichtlich der Vertriebsorganisation zu befragen. Eine Objektivierung ist zu erwarten, wenn auch der Vertriebsleiter, Kunden, Mitarbeiter des Marktfolgebereichs etc. bei der Beurteilung mit herangezogen werden. Neben der Begrenzung einseitiger subjektiver Verzerrungen ist eine Erhöhung der Transparenz der Bewertung anzustreben. Da organisatorische Konzepte in aller Regel von Entscheidern verabschiedet werden, die an der Entscheidungsvorbereitung nicht mitgewirkt haben, ist die Transparenz der Bewertung oberstes Gebot. Eine Erhöhung der Transparenz bedeutet, dass der Entscheider den Bewertungsprozess des Entscheidungsvorbereiters nachvollziehen kann, dass ihm dazu sämtliche Gesichtspunkte offengelegt werden, die zu der Entscheidung geführt haben. Diese Forderung wird von verbalen Berichten, Gutachten etc. nicht oder nur bedingt erfüllt.

Zunächst werden nun einfache Wirtschaftlichkeitsrechnungen zur Bewertung vorgestellt. Dann folgen Verfahren, in denen auch der nicht-monetäre Nutzen berücksichtigt wird.

Vorprüfung

Bevor Varianten in einer systematischen Bewertung einander gegenübergestellt werden, ist es zweckmäßig, sie einer Vorprüfung zu unterziehen. Damit werden zwei Ziele verfolgt:

  • Es soll verhindert werden, dass nichtfunktionstüchtige Varianten in die Bewertungsphase gelangen
  • mangelhafte oder verbesserungsfähige Varianten sollen die Chance zur Verbesserung erhalten.

In der folgenden Liste werden Prüffragen vorgestellt, die typischerweise in einer Vorprüfung zu beachten sind.

Prüffragen in einer Vorprüfung

Wirtschaftlichkeitsrechnungen

Kostenvergleiche

Wenn den Lösungsmöglichkeiten eindeutig Kosten zugerechnet werden können, kann man diese unmittelbar vergleichen. Es werden diedurchschnittlichen Gesamtkosten oder die Stückkosten einer Lösung den Kosten der alternativen Lösung(en) gegenübergestellt.

Beispiel

Wird unterstellt, dass beide Lösungen die gleichen mengenmäßigen Leistungen erbringen, erübrigt sich die Ermittlung von Stückkosten. Ansonsten sind die Stückkosten bei optimaler Auslastung zu ermitteln. Wird unterstellt, dass im obigen Beispiel mit der Lösung A 1000 Mengeneinheiten (ME) (etwa Drucksachen) erstellt werden können, mit der Lösung B aber 1500, so erweist sich das Verfahren B als günstiger, da die Stückkosten hier nur 0,90 gegenüber 1,25 bei der Lösung A betragen. An diesem Beispiel wird auch die Bedeutung einer Prognose der zukünftigen mengenmäßigen Leistung für die Beurteilung der Alternativen deutlich. Liegt die voraussichtliche Auslastung unter 1000 ME, bleibt A die günstigere Lösung.

Meistens sind nicht alle Kostengrößen konstant. Viele verändern sich in irgendeiner Form mit der Ausbringung. Es liegen also fixe und variable Kostenbestandteile vor. Fixe Kosten entstehen beispielsweise für Gehälter, Abschreibungen (AfA), Zinsen etc. Ausbringungsabhängig und damit variabel sind etwa Stücklöhne, Portokosten bei Aussendungen, Materialeinsatz, leistungsabhängige Abschreibungen etc.

Sollen die Kosten alternativer Lösungen verglichen werden, spielt die Erwartung über die zukünftige Auslastung immer dann die erwähnte Rolle, wenn mit den Alternativen unterschiedliche Leistungsmengen hervorgebracht werden können und wenn das Verhältnis von fixen und variablen Kosten bei beiden Alternativen unterschiedlich ist. Grafisch kann diese Situation folgendermaßen abgebildet werden (siehe Grafik oben "Kostenvergleich):

Bis zur Menge XK (Kritische Menge) ist die Variante A kostengünstiger. Im Bereich von XK bis XA ist die Variante B kostengünstiger. Im Bereich XA bis XB kommt überhaupt nur die Alternative B in Frage, da die maximale Ausbringung der Variante A XA Einheiten beträgt.

Die Kostenvergleichsrechnungen weisen einen erheblichen Mangel auf. Die Vergleiche berücksichtigen nicht, dass die Alternativen unter Umständen - über die Mengenunterschiede hinausgehend - mit unterschiedlichen Leistungen verbunden sind. Diese Unterschiede können in der Schnelligkeit, Fehlerfreiheit, Sicherheit, Genauigkeit usw. liegen. Wenn das der Fall ist, müssen zusätzlich sonstige Vor- und Nachteile der Alternativen mit in die Überlegungen einbezogen werden. Dazu sind Nutzwertanalysen und Kosten-Wirksamkeits-Analysen geeignet.

Gewinn- und Rentabilitätsvergleiche

Da die Lösungsmöglichkeiten unter Umständen unterschiedliche Leistungen erbringen, sind Kostenvergleichsrechnungen häufig nicht ausreichend aussagekräftig. Sie können sogar zu Fehlschlüssen verleiten. Diesen Mangel beheben Gewinnvergleichs- oder Rentabilitätsberechnungen. Voraussetzungen für diese Rechnungen sind isolierbare, d.h. den einzelnen Varianten zurechenbare Leistungen und ihre Bewertung in Geldeinheiten. Diese Bedingungen liegen bei organisatorischen Lösungen recht selten vor. Es sind jedoch Anwendungsfälle denkbar, in denen einem Projekt nicht nur Kosten sondern auch Erlöse zugerechnet werden können. Ein Beispiel könnte der Einsatz von Geldausgabeautomaten sein. Neben den Kosten könnten Erlöse je Auszahlung rechnerisch mit angesetzt werden. Auch in diesen Fällen bereitet jedoch die Bewertung qualitativer Sachverhalte, wie etwa weniger Wartezeiten für Kunden, geringeres Überfallrisiko usw. Probleme.

Beispiel für eine Gewinnvergleichsrechnung:

Gewinnvergleichsrechnung

Bei unterschiedlichen Leistungsmengen der Alternativen muss die Berechnung auf die erwartete Ausbringung bezogen werden.

In Rentabilitätsvergleichsrechnungen wird die Verzinsung des für die Varianten notwendigen Kapitaleinsatzes verglichen. Alle organisatorischen Maßnahmen sind letztlich auch unter dem Gesichtspunkt zu beurteilen, ob sie sich positiv auf die Verzinsung des eingesetzten Kapitals auswirken. Insofern ist dieser Ansatz sinnvoll. Es ergibt sich aber wiederum das Problem, dass den organisatorischen Lösungen nur selten Gewinne direkt zugerechnet werden können.

Beispielfür eine Rentabilitätsvergleichsrechnung:

Rentabilitätsvergleichsrechnung

Eine ganze Reihe weiterer im Rahmen der Investitionstheorie entwickelter Rechenverfahren kann auch zur Beurteilung organisatorischer Lösungen herangezogen werden. Das recht aufwendige rechentechnische Instrumentarium lohnt sich aber in aller Regel nicht, da die Rechengrößen meistens mit noch größeren Unsicherheiten verbunden sind, als es etwa bei Anlageinvestitionen im Produktionsbereich von Unternehmen der Fall ist.

Das in meinem Artikel "Projektziele" (hier im Org-Portal) bereits herangezogene Beispiel - die Reorganisation des Vertriebs - wird allen folgenden Bewertungstechniken zugrundegelegt. Es soll den Aufbau der Techniken verdeutlichen und deren Vergleich erleichtern.

Folgende Varianten zur Reorganisation des Vertriebs wurden untersucht:

Varianten

Anhand dieses Beispiels sollen nun verschiedene Bewertungstechniken vorgestellt werden.

Verbale Bewertung

In der verbalen Bewertung werden den Varianten Vor- und Nachteile zugeordnet.

Bei diesem Bewertungsverfahren kann der Entscheider sehr leicht manipuliert werden, indem der favorisierten Variante viele Vorteilsargumente und wenige Nachteilssargumente zugeordnet werden. Das ist insofern sehr leicht möglich, als Vor- und Nachteile nahezu beliebig aufgegliedert bzw. verdichtet werden können (z.B. Kundenfreundliche Lösung einerseits oder eindeutige Ansprechpartner, kurze Wege, gute Kundenkenntnis, leichte Erreichbarkeit, gute Parkmöglichkeiten usw. andererseits. Das Verfahren macht eine Manipulation auch deswegen so leicht, weil aus der Darstellung nicht ersichtlich wird, welches Gewicht ein Vorteils- oder Nachteilsargument hat. Die verbale Bewertung verletzt die Grundregel der Transparenz und Nachvollziehbarkeit von Bewertungen. Sie fördert damit die Manipulation der Entscheider durch die Entscheidungsvorbereiter.

vbvn.jpg

Nutzwertanalyse

In der Nutzwertanalyse wird ein vergleichbares Beurteilungsmaß - ein Punktwert - für alle bewerteten Varianten ermittelt. Dieser Punktwert ist eine kompakte Kennzahl für die Vorteilhaftigkeit - den Nutzen - einer Variante im Vergleich zu allen anderen Varianten.

Eine Nutzwertanalyse läuft in sechs Stufen ab:

1. Ermittlung der Ziele

2. Gewichtung der Ziele

3. Vergabe von Punkten für die Varianten

4. Multiplikation von Gewichten mit zugehörigen Punkten

5. Ermittlung der gewichteten Punkttotale

6. Sensitivitätsanalyse.

Voraussetzung der Nutzwertanalyse sind gewichtete Zielkataloge. Die Sammlung, Ordnung und Gewichtung von Zielen wurde in dem Beitrag "Projektziele" (hier im Org-Portal) behandelt. Im nächsten Schritt sind Punkte zu vergeben.

Vergabe von Punkten

Die Anzahl der Punkte hängt ab vom Grad der Zielerreichung durch die Varianten. Um die Punktzahl zu ermitteln, werden die Ziele den Lösungsmöglichkeiten gegenüber gestellt. Dazu bedient man sich zweckmäßigerweise der nachstehenden Matrix. In der Kopfzeile werden die Varianten grob beschrieben. Im oberen Bereich wird geprüft, ob die Varianten die Restriktionen (Muss-Ziele) einhalten. Bei quantifizierbaren Restriktionen sollte nicht nur JA oder NEIN vermerkt sondern der effektive Wert angegeben werden. Für die übrigen Ziele werden maximal 10, minimal 0 Punkte vergeben. Normalerweise erhält die Variante, die das Ziel sehr gut erfüllt, 10, die Lösung, die sehr schlecht abschneidet, erhält 0 Punkte. Diese Extremwerte müssen aber nicht immer vergeben werden, wenn keine Variante extrem gut oder schlecht ist. Es können auch alle untersuchten Varianten gleich benotet (bepunktet) werden, wenn sie sich bei dem betreffenden Kriterium nicht unterscheiden.

Multiplikation und Ermittlung der gewichteten Punkttotale

Die vergebenen Punkte müssen mit den Gewichten multipliziert werden. Die Summe der gewichteten Punkttotale wird dann durch die spaltenweise Addition der Produkte errechnet. Das Bewertungsbeispiel ergibt somit die Rangfolge:

ranking nwa.jpg

In einer erweiterten Form können auch noch verbale Erläuterungen zu den Punktwerten gegeben werden, um zu erläutern, weswegen dieser Punktwert vergeben wurde. Diese Erläuterungen fördern zwar die Nachvollziehbarkeit beim Entscheider, sie neigen aber dazu, sehr umfangreich und wenig übersichtlich zu werden. Nutzwertanalysen werden etwa in Präsentationen oder in Berichten üblicherweise in die Anlage "verbannt". In einer Präsentation oder in einem Bericht werden lediglich die Ergebnisse der Bewertung und die wichtigsten Gründe für "Sieg oder Niederlage" erläutert, um die Entscheider nicht mit zu vielen Zahlen zu überfordern. Bei Bedarf sollte man aber immer in der Lage sein, den Entscheidern eine vollständige Nutzwertanalyse zur Einsicht vorzulegen.

Sensitivitätsanalyse

Unter einer Sensitivitätsanalyse versteht man dasVariieren von Zielen, Gewichten und Punktwerten, um die Auswirkungen dieser Veränderungen auf die bewerteteReihenfolge der Varianten zu überprüfen. Wird beispielsweise ein Gewicht auf- und ein anderes abgewertet, so errechnet man die punktmäßige Auswirkung auf das Gesamtergebnis. Diese Sensitivitätsanalyse kann verschiedenen Zielen dienen, wie z.B.

  • dem Beweis, dass selbst bei veränderten Annahmen eine favorisierte Lösung standhält
  • der Demonstration, wie sich die Reihenfolge ändert, wenn bestimmte Teilbewertungen geändert werden
  • dem Versuch, zu der Lösung hin zu manipulieren, die man intuitiv haben möchte.

Dieses Vorgehen kann durchaus legitim sein, wird dem Manipulierer doch auf jeden Fall deutlich, wo Abstriche gemacht werden und welche Ziele besonders hoch gewichtet werden müssen, um das gewünschte Ergebnis zu erhalten.

Abschließend soll die Nutzwertanalyse selbst - verbal - bewertet werden.

vnnwa.jpg

Der zuletzt genannte Nachteil, die Umwandlung von Geldbeträgen in Punktwerte und die damit verbundene Verfremdung, soll durch die sogenannte Kosten-Wirksamkeits-Analyse behoben werden, die nun vorgestellt wird.

Kosten-Wirksamkeits-Analyse (= Kosten-Nutzen-Analyse)[1]

[1] Hier wird der Begriff Kosten-Wirksamkeits-Analyse verwendet, um deutlich zu machen, dass damit ein anderes Verfahren gemeint ist als die Kosten-Nutzen-Analyse, die in der öffentlichen Verwaltung verbreitet ist. Dort wird versucht, auch die nicht-monetären Nutzenbestandteile in monetäre Größen umzuwandeln, d.h. einen gesamten monetären Nutzenausdruck zu gewinnen. Wegen der Problematik der Bemessung von Geldwerten für die Erreichung nicht-monetärer Ziele, wird dieses Verfahren hier nicht näher behandelt.

In der Nutzwertanalyse werden sowohl monetäre wie auch nicht-monetäre Größen zu einem Punktwert verdichtet. Das widerspricht insofern dem normalen wirtschaftlichen Denken, als Entscheider fast immer die Kosten der Lösungsvarianten kennen wollen. In der Kosten-Wirksamkeits-Analyse werden deswegen zwei Werte je Variante ermittelt

  • Kosten je Periode (z.B. Jahr)
  • Nutzen (gemäß Nutzwertanalyse).

Damit wird - zumindest formal und vorläufig - auch das Problem umgangen, die Kostengrößen und die übrigen Größen gegeneinander zu gewichten.

Anhand des gewählten Beispiels soll die Kosten-Wirksamkeits-Analyse demonstriert werden. Dazu wurden für jede Variante die relevanten Kosten ermittelt. Hier wird beispielhaft von drei Kostenkategorien ausgegangen. Außerdem werden die in der Nutzwertanalyse ermittelten Punktwerte um die Beträge vermindert, die aufgrund der Kostenziele erreicht wurden. So hat die Variante "Produkte" in der Nutzwertanalyse insgesamt 643 Punkte erreicht, davon allein 200 wegen der relativ niedrigen laufenden Kosten für Personal und 65 für die Investitionskosten. Es verbleiben also 378 Punkte für die nicht-monetären Ziele. Nach diesem Muster wurden auch die übrigen Punktwerte korrigiert. Bei den Kosten und Punktwerten ergeben sich die nachfolgenden Werte. Dabei ist zu beachten, dass die Investitionskosten für Personal in 3 Jahren und die Investitionskosten in Bau und Einrichtung in fünf Jahren abgeschrieben werden.

kna.jpg

In der letzten Zeile der Tabelle wurden dieKosten den verbleibenden Punktwerten gegenübergestellt. Damit ergibt sich eine Kennziffer, die den finanziellen Aufwand für einen Qualitätspunkt ausdrückt, ein Wert, der auch als das Preis-Leistungs-Verhältnis bezeichnet wird. Demnach ist Variante C am besten, weil sie den geringsten Aufwand (5.820 Geldeinheiten) je Punkt verursacht.

Die Relation Kosten zu Nutzen wird noch informativer aufbereitet, wenn die ermittelten Größen in einem Koordinatensystem grafisch dargestellt werden. Auf der Senkrechten werden die Punktwerte, auf der Waagerechten die Geldbeträge abgebildet.

Es werden dann alle Punkte miteinander verbunden, die im Bereich links oben liegen. Die in der Abbildung oben eingetragene Variante "Region" ist nicht weiter zu verfolgen, weil sie schlechter als andere Varianten ist und dabei höhere Kosten verursacht. Durch diese Darstellung werden die überhaupt in Frage kommenden Varianten offensichtlich, ohne jedoch daraus ableiten zu können, welche die beste Variante ist. Die Entscheidung für die "beste" Variante hängt abvon der - subjektiven -Gewichtung der Kostenziele einerseits und der Qualitätsziele andererseits. Wird eine solche Bewertung vorgelegt, muss der Entscheidungsvorbereiter zusätzlich eine verbale Empfehlung abgeben, die im Beispiel etwa lauten könnte: "Wir empfehlen die Variante Produkte, weil sie die niedrigsten Kosten und eine hinreichende Qualität bietet". Die Empfehlung könnte aber auch heißen: "Trotz der hohen Kosten vonKunden + Produkte empfehlen wir diese Variante, weil zu den Mehrkosten von 1.5 Millionen Geldeinheiten eine deutlich höhere Qualität erreicht werden kann, die wir auch anstreben sollten". Im ersten Fall werden die Kostenziele im zweiten Fall die Qualitätsziele höher gewichtet. Der Entscheider kann dann relativ leicht selbst zu einem Urteil kommen, ob er diese abschließende Gewichtung teilt.

Anwendungsbedingungen

Eine Kosten-Wirksamkeits-Analyse empfiehlt sich, wenn

  • die Kostenverursachung einer Variante eindeutig festgestellt werden kann
  • die monetären Ziele gegenüber den übrigen Nutzengrößen einen relativ hohen Stellenwert haben
  • neben den monetären Zielen auch die nicht-monetären Ziele bedeutend sind (andernfalls genügt eine Kostenvergleichs- oder Rentabilitätsrechnung).

Visuelle Bewertung

Als letzte, relativ einfache Technik soll hier die visuelle Bewertung vorgestellt werden. Für die Zielerreichung werden lediglich Punkte oder Kreuze vergeben. Je mehr Symbole eine Variante auf sich vereinigt, desto besser werden die Ziele erreicht. Diese Technik ist im Prinzip der Nutzwertanalyse sehr ähnlich, allerdings werden keine Gewichte berücksichtigt. Auch erscheint es für den Entscheider schwieriger, die Entscheidungsvorlage nachzuvollziehen. Sensitivitätsanalysen sind nicht möglich.

Die visuelle Bewertung wird hier gleichzeitig dazu verwandt, die Leistungsfähigkeit der verschiedenen Bewertungstechniken einander vergleichend gegenüberzustellen.

Sammlung negativer Auswirkungen und Absicherung der Lösung

Nach der Bewertung der Varianten sollten deren - potentielle - negative Auswirkungen ermittelt werden. Dieser zusätzliche Prüfvorgang empfiehlt sich insbesondere deswegen, weil bei der Bewertung zwar der Zielerreichungsgrad, weniger aber mögliche oder wahrscheinliche Nachteile für Nebenziele oder Randgebiete beachtet werden.

Die nachteiligen Wirkungen werden nach den Kriterien Wahrscheinlichkeit und Tragweite bewertet. Varianten mit sehr wahrscheinlichen und weitreichenden negativen Auswirkungen werden auf diese Weise erkannt. Entweder sind die Varianten auszusondern, oder es werden Anstrengungen unternommen, die nachteiligen Wirkungen abzufangen. Sollten damit Kosten verbunden sein, so sind diese Kosten den jeweiligen Varianten anzulasten. Das kann zu einer neuen Rangreihe der Lösungsmöglichkeiten führen.

Nach der Entscheidung für eine Variante werden vorbeugende Maßnahmen gegen potentielle Probleme ergriffen, indem versucht wird, Ursachen möglicher Probleme auszuschalten. Solche absichernden Maßnahmen kommen allerdings nur für wahrscheinliche und weitreichende negative Abweichungen in Frage. Alternativ können Eventual-Maßnahmen geplant werden, die erst zu ergreifen sind, wenn bereits Probleme aufgetreten sind.

Quelle dieses Beitrags: Götz Schmidt: Methode und Techniken der Organisation. 13. Auflage, Gießen 2003

Dateien:
 Kostenvergleich (24 kB)