Kennzahlen
Die GEOMAR Bibliothek liefert Kennzahlen für Evaluierungen basierend auf der jeweiligen Publikationsdatenbank, für interne und externe Bewertungsverfahren.
- Zitatanalyse
- Werkzeuge: Science Citation Index, Scopus, Google Scholar Citation, Microsoft Academic Search
- Bedenkenswerte Punkte beim Umgang mit Zahlen aus einer Zitatanalyse
- Hirsch-Index (h-Index)
- Impaktfaktoren von Zeitschriften
- Altmetrics
"Citations in the actual sense are common practice in scientific literature since the middle of the 19th century. Metaphorically speaking, the citation network of scientific articles is the glue that links publications with related content. The number of citations is seen as a direct measure for the (documented) resonance or the impact an article, a journal or a scientist has generated so far."
Aus: The impact of Solid State Communications in view of the ISI Citation data, DOI: dx.doi.org/10.1016/S0038-1098(03)00442-3
Das Konzept der Zitatanalyse wurde Ende der 50er Jahre entwickelt, das zentrale Instrument dabei ist die Datenbank Science Citation Index (SCI), erstellt vom Institute for Scientific Information (ISI), Philadelphia, USA, Teil des Thomson-Konzerns. Die grundlegende Idee dabei liegt darin, über die erfassten Literaturangaben wissenschaftliche Beziehungsnetze verfolgen zu können. Ein Faktor für den Erfolg der Datenbank liegt in der Möglichkeit, für die Einschätzung der Relevanz der Arbeit von Wissenschaftlern ihr Publikationsverhalten als Bewertungskriterium einzusetzen.
Im Lauf der Jahre wurde der SCI ergänzt durch den SSCI (Social Sciences Citation Index) und den AHCI (Arts and Humanities Citation Index). In den letzten Jahren sind noch CPCI (Conference Proceedings Citation Index) und BCI (Book Citation Index) hinzugekommen. Die gemeinsame Plattform dazu wird vermarket unter dem Namen Web of Science. Unter der gleichen Oberfläche können noch weitere Datenbanken lizenziert werden (Web of Knowledge).
Im SCI werden nur Aufsätze aus einer definierten Auswahl von Zeitschriften ausgewertet. Hier finden sich Informationen zum Auswahlprozess.
Scopus
Elsevier hat 2004 ein Konkurrenzprodukt names Scopus auf den Markt gebracht. Scopus deckt mehr Zeitschriften ab als SCI und legt ebenfalls eine definierte Liste zugrunde.
Google Scholar Citation
Google Scholar (GS) dagegen aggregiert die Daten über Textmining. Vom Ansatz her, alles was sich maschinell als wissenschaftliche Publikation im Netz identifizieren läßt. Entsprechend sind dann natürlich auch weitere Zeitschriftenartikel, Buchbeiträge usw. enthalten.
Microsoft Academic Search
Ähnlich arbeitet Microsoft Academic Search.
Verschiedene Quellen generieren verschiedene Zahlen.
Je nach Auswertungsgrundlage der Quelle variiert also natürlich z.B. der jeweils angegebene h-Index.
| Eindeutigkeit des Autors | Sprachbarrieren |
| Negativzitate | Zeitliche Trägheit des Zitiervorgangs |
| Selbstzitate | Neue Forschungsvorgänge werden unverhältnismäßig spät wahrgenommen |
| Zitierkartelle | Alter des Zitierten |
| Wer wird zitiert (Prestige...) | Zahl der durchschnittlichen Zitierungen stark vom Fachgebiet abhängig (differiert um Faktor 7) |
| Nicht dokumentierte Einflüsse (Danksagungen udgl.) | Großteil aller Publikationen wird nicht oder sehr gering zitiert |
| Unvollständigkeit und Fehler in den Literaturlisten |
Hirsch-Index (h-Index)
Seit 2006 etablierte Vergleichszahl um die Zitathäufigkeit eines Autors darzustellen: Ein Wissenschaftler hat einen Hirsch-Index h, wenn h von seinen insgesamt N Publikationen mindestens h-mal, die restlichen (N – h) Publikationen höchstens h-mal zitiert wurden. (vgl. Wikipedia)
Developed by J.E. Hirsch and published in Proceedings of the National Academy of Sciences of the United States of America 102 (46): 16569-16572 November 15 2005.
Impaktfaktoren von Zeitschriften
Eine weitere Metrik ist die Berechnung von Impaktfaktoren von Zeitschriften.
Thomson-Reuters bietet dies im Journal Citation Report (JCR) an (Zugang nur am GFZ). Dort wird u.a. der Journal Impact Factor (JIF) einzelner Zeitschriften errechnet.
Berechung für 2000 S = Zahl der Artikel und Reviews, die 1998 und 1999 in bestimmten Zeitschriften erschienen sind (Source Items) R= Zahl der Zitierungen in 2000 von allen Publikationen, die als Quellenangabe die in S ausgewerteten Zeitschriften des Jahrgangs 1998 und 1999 nennen (References) R/S = Journal Impact Factor |
SCImago Journal & Country Rank (SJR) basiert auf Scopus und bietet ebenfalls zeitschriftenbezogene Auswertungen.
Solche Zeitschriftenmetriken beziehen sich immer auf die gesamte Zeitschrift und können nicht personenbezogen eingesetzt werden. Sie sind Indikator für „relative Bedeutung“ innerhalb eines Fachgebiets, es ist kein Vergleich über verschiedene Fachgebiete sinnvoll. Zu beachtende Faktoren: Fachdisziplin, Anteil Methodenartikel, Anteil Reviewartikel, Originalsprache, Zeitraum der ausgewerteten Daten. Alles bei Zitatanalyse gesagte, wirkt sich aus. Die "San Francisco Declaration on Research Assessment (DORA)" formuliert deutliche Kritik an den Auswüchsen der Nutzung des Impakt Faktors bei der Forschungsevaluation. |
Altmetrics
Neben dem Blick auf etablierte Metriken wie der Zahl der Zitate, werden seit Jahren die Möglichkeiten von “Altmetrics” untersucht.
"Altmetrics" beschreibt den Ansatz der Erfassung und Untersuchung von neuen Kennzahlen im Social Web, die nicht zitatbasiert sind, zur Analyse und Verbreitung in der Wissenschaft.
J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, (v.1.0), 26 October 2010. altmetrics.org/manifesto
Verschiedene Verlage, darunter auch Copernicus, setzen ein Programm namens ALM (Article level metrics) ein, um zu jedem Artikel automatisch relevante, weitere Zahlenwerte und deren Quellen anzugeben, die etwas über die Resonanz auf diesen Artikel aussagen können.
Im Einzelnen werden dabei zur Zeit erfaßt:
- Downloadstatistik des Verlags
- Zitate im Rahmen von CrossRef (dem weltweiten Verbund der Verlage zur Nutzung der DOI), Zitate aus Google Scholar
- Downloads des Artikels in Literaturverwaltungsprogrammen
- wissenschaftsrelevante soziale Medien
Was nützt das?
ALM kann dazu beitragen, die Wahrnehmung eines Artikels, die Resonanz auf einen Artikel sehr viel schneller und auf breiterer Basis zu erfassen. Klassische Zitate und ihre Messung sind zeitlich träge und basieren letztlich auf den Gepflogenheiten der papiergebundenen Zeitschriftenwelt. ALM dagegen basiert auf den Möglichkeiten (z.B. Zugriffsstatistik) des elektronischen Publizierens und erfaßt Reaktionen sehr viel zeitnäher.
Man darf gespannt sein, wie schnell ALM bei der Mehrheit der Verlage zum Standard wird (es ist sicher kein Zufall, dass Open Access-Verlage hier vorangehen) und wie schnell Autoren diese zusätzliche Information zur Reichweite ihrer Publikation schätzen lernen.
[GFZ Potsdam]
