Leitfaden

So bewerten Sie ein KI-Tool für die Evidenzsynthese

Sie möchten wissen, wie gut ein KI-Tool in systematischen Reviews arbeitet, vielleicht so belastbar, dass Sie die Antwort veröffentlichen können. Dieser Leitfaden führt Sie in vier Schritten durch eine Evaluation. Sie können das Tool in Ihrem laufenden Review testen oder an Reviews, die bereits abgeschlossen sind.

Verfasst von Puraite, dem Entwickler eines solchen Tools. Jeder Schritt nennt die Leitlinie, auf der er beruht. So können Sie die Leitlinie zitieren und nicht uns. Version 1.0, zuletzt aktualisiert am 10. November 2026.

So funktioniert es

Eine Evaluation stellt eine Frage: Wenn die KI und menschliche Reviewer über dieselben Datensätze entscheiden, wie oft liegt die KI richtig? Sie beantworten die Frage, indem beide unabhängig entscheiden und Sie die Entscheidungen danach vergleichen.

Evaluieren Sie während eines eigenen Reviews, braucht der Review den größten Teil der Arbeit ohnehin: ein Protokoll, einen Pilotdurchgang, zwei Reviewer und ein Verfahren für Uneinigkeiten. Evaluieren Sie an abgeschlossenen Reviews, liegen die Entscheidungen der Reviewer schon vor und Sie lassen die KI dieselben Datensätze bearbeiten. In beiden Fällen kommen durch die Evaluation einige Regeln hinzu. Die wichtigste lautet: Sie hören auf, die KI anzupassen, bevor Sie sie messen.

SchrittWannWas Sie am Ende haben
1. PlanenBevor Sie beginnenEin kurzes Protokoll, das festlegt, was Sie messen
2. Kalibrieren und einfrierenZuerst an einer kleinen StichprobeEinstellungen und Kriterien, die sich nicht mehr ändern
3. DurchführenAn den übrigen DatensätzenEntscheidungen von KI und Reviewern zu denselben Datensätzen, Uneinigkeiten geklärt
4. BerichtenWenn alle Entscheidungen vorliegenEin Ergebnis mit seiner Unsicherheit, bereit zum Aufschreiben

Was planen Sie?

Ihre Antwort entscheidet, wie viele der 18 Checklistenpunkte Sie brauchen. Die Seite zeigt nur die Punkte, die zutreffen.

Halten Sie einen Test einfach. Lassen Sie die KI neben Ihren verblindeten Reviewern in einem laufenden oder kürzlich abgeschlossenen Review arbeiten. Messen Sie die Sensitivität mit einem 95-%-Konfidenzintervall und werten Sie unklare KI-Ausgaben als „Einschluss“. Eine Seite Protokoll genügt und Sie müssen es nicht registrieren. Ändert sich die Tool-Version während des Tests, beginnen Sie neu oder vermerken Sie die Änderung.

Ein Test zeigt Ihrem Team, ob es das Tool nutzen sollte. Er ist keine Validierung, die Sie veröffentlichen können. Wenn Sie später vielleicht veröffentlichen möchten, wählen Sie deshalb jetzt die andere Option.

Die Beispiele beschreiben das Screening in einem laufenden Review, weil das der häufigste Fall ist. Wo abgeschlossene Reviews anders funktionieren, sagt es der jeweilige Schritt. Suche, Datenextraktion und Risk of Bias folgen denselben vier Schritten mit einem anderen Maß. Bei der Wahl hilft Ihnen Schritt 1.

Schritt 1 · Bevor Sie beginnen

Planen Sie, was Sie messen

Hier treffen Sie vier Entscheidungen und schreiben sie auf. Erst das vorherige Aufschreiben sorgt dafür, dass Leser dem Ergebnis später vertrauen können.

Legen Sie fest, wo Sie testen

In einem laufenden Review. Die KI arbeitet an einem Review, während er entsteht. Das ist das stärkste Design, weil Datensätze, Kriterien und Reviewer echt sind. Das CESAR-Protokoll von Cochrane ist ein ausgearbeitetes Beispiel.

An abgeschlossenen Reviews. Die KI wiederholt Entscheidungen, die bereits getroffen wurden. So decken Sie schnell viele Reviews ab. Nutzen Sie für Ihr Hauptergebnis Reviews, die nach dem Trainingsstichtag des Modells veröffentlicht wurden oder unveröffentlicht sind, denn das Modell kann ältere Reviews im Training gesehen haben. Berichten Sie ältere öffentliche Benchmarks wie CLEF TAR 2019 oder SYNERGY getrennt. Ein veröffentlichter Review listet selten jeden ausgeschlossenen Datensatz auf. Prüfen Sie deshalb, was seine Entscheidungen abdecken.

Eine dritte Option, der randomisierte Vergleich zweier Arbeitsabläufe, lohnt den Aufwand nur, wenn Ihre Frage die Zeitersparnis oder die Wirkung auf die Schlussfolgerungen des Reviews ist.

Legen Sie fest, welche Rolle die KI hat

Evaluieren Sie die KI in der Rolle, die Sie ihr geben wollen. NICE beschreibt drei Rollen und jede braucht einen anderen Vergleich.

RolleWas die KI tutWas Sie vergleichen
UnterstützungMacht Vorschläge; ein Reviewer entscheidet jeden Datensatz.Reviewer mit KI-Unterstützung gegen Reviewer ohne.
TeilautomatisierungErsetzt einen von zwei Reviewern; ein Mensch klärt Uneinigkeiten.Ein Reviewer plus KI gegen zwei Reviewer.
VollautomatisierungEntscheidet allein.Die KI allein gegen Ihren Referenzstandard.

NICE empfiehlt keine Vollautomatisierung für Volltext-Screening, Datenextraktion oder Risk of Bias und lässt für Risk of Bias nur die unterstützende Nutzung zu. Welche Rolle Sie auch wählen: Berichten Sie zusätzlich, was die KI allein erreicht.

Legen Sie fest, was als richtig gilt

Sie brauchen einen Satz von Entscheidungen, an dem Sie die KI messen. Das ist Ihr Referenzstandard. Bilden Sie ihn aus zwei unabhängigen Reviewern. Auch Reviewer machen Fehler: Ein einzelner Reviewer liegt bei etwa jeder zehnten Abstract-Entscheidung falsch (Wang et al., PLoS ONE 2020). Deshalb prüft in Schritt 3 eine dritte Person jeden Datensatz erneut, bei dem KI und Reviewer uneins sind.

Achten Sie darauf, dass die Entscheidungen zu der Phase gehören, die Sie testen. Beim Titel- und Abstract-Screening vergleichen Sie mit Ihren Titel- und Abstract-Entscheidungen. Die Studien, die Sie am Ende einschließen, sind dafür der falsche Maßstab.

Wählen Sie Ihr Maß

Wählen Sie ein Hauptmaß für die evaluierte Phase und legen Sie jetzt fest, womit Sie es vergleichen.

PhaseHauptmaßWorauf Sie achten sollten
SucheRecall: der Anteil Ihrer eingeschlossenen Studien, den die KI-Suche gefunden hat.Prüfen Sie, ob das Tool dieselben Datenbanken abdeckt. Es kann nicht finden, was Ihre eigene Suche verpasst hat.
Titel- und Abstract-ScreeningSensitivität: der Anteil relevanter Datensätze, den die KI behalten hat.Die Genauigkeit (Accuracy) wirkt hoch, auch wenn die KI Studien verpasst, weil die meisten Datensätze Ausschlüsse sind. Stellen Sie sie nicht als Hauptergebnis heraus.
Volltext-ScreeningSensitivität, für Datensätze, die das Titel- und Abstract-Screening passiert haben.Berichten Sie, welchen Text die KI gelesen hat. Ist sie auf das Abstract ausgewichen, hat sie eine andere Aufgabe erledigt.
DatenextraktionÜbereinstimmung: der Anteil der Datenpunkte, die übereinstimmen.Legen Sie vor dem Start fest, was als Übereinstimmung gilt. Werten Sie Werte, die die KI erfunden hat, als Fehler.
Risk of BiasÜbereinstimmung je Domäne (Prozent und gewichtetes κ).Reviewer sind sich hier oft untereinander uneins. Messen Sie auch deren Übereinstimmung.

Setzen Sie keine Bestehensgrenze wie „95 % Recall“; NICE rät davon ab. Vergleichen Sie die KI mit den Ergebnissen Ihrer eigenen Reviewer in derselben Studie oder mit veröffentlichten menschlichen Fehlerraten. Legen Sie außerdem fest, wie Sie Datensätze werten, zu denen die KI keine klare Antwort gegeben hat. Beim Screening werten Sie sie als „Einschluss“.

Ihre Checkliste für diesen Schritt

  1. 1

    Benennen Sie die Rolle der KI (Unterstützung, Teilautomatisierung oder Vollautomatisierung) und die Phase des Reviews.

    NICE ECD20

  2. 2

    Wählen Sie das Design: in einem laufenden Review, an abgeschlossenen, dem Modell unbekannten Reviews oder als randomisierten Vergleich von Arbeitsabläufen.

    PublikationRAISE 1, Empf. 3.1.3CESAR-Protokoll

  3. 3

    Definieren Sie den Referenzstandard: zwei unabhängige Reviewer mit Entscheidungen, die zur Phase passen.

    PublikationNICE ECD20RAISE 2

  4. 4

    Legen Sie das Hauptmaß fest, den entscheidenden Vergleich, die Wertung unklarer KI-Ausgaben und die Stichprobe.

    PublikationNICE ECD20RAISE 2

  5. 5

    Schreiben Sie das Protokoll. Nennen Sie Ihre Interessen und jede Hilfe des Entwicklers, die Sie in Anspruch nehmen wollen.

    NICE ECD20RAISE 1, Empf. 3.7

In Puraite

Wenn Sie veröffentlichen wollen, schicken Sie uns Ihren Protokollentwurf. Wir kommentieren die Rolle, die Einstellungen, die Formulierung der Kriterien und das Design des Pilotdurchgangs. Was Sie übernehmen, entscheiden Sie. Die Kosten der KI-Nutzung für Ihr Protokoll übernehmen wir. Siehe So unterstützt Sie Puraite.

Wie viele Datensätze brauchen Sie?

Entscheidend ist die Zahl der relevanten Datensätze, nicht die Gesamtzahl, die Sie screenen. Die Tabelle zeigt, wie sicher Sie sein können, wenn die KI in einem Review 95 % der relevanten Datensätze findet.

Relevante DatensätzeVon der KI gefunden95-%-Intervall der Sensitivität
20190,76 bis 0,99
40380,83 bis 0,99
60570,86 bis 0,98
100950,89 bis 0,98
2001900,91 bis 0,97

Ein Review mit wenigen Einschlüssen ergibt eine Fallstudie. Sie ist trotzdem eine Veröffentlichung wert, wenn Sie das breite Intervall zeigen. Für eine allgemeine Aussage über ein Tool brauchen Sie etwa 100 bis 120 relevante Datensätze, verteilt auf mindestens 15 bis 20 Reviews.

Fehler, die veröffentlichte Evaluationen verzerrt haben
  • Die KI an den Datensätzen anpassen, die das Endergebnis liefern. In Oami 2024 erreichte der geplante Prompt eine Sensitivität von 0,75; Prompts, die nach Sichtung der Ergebnisse geschrieben wurden, erreichten 0,89 bis 0,91. Schritt 2 schützt Sie davor.
  • Ein Testdatensatz mit einem unrealistischen Anteil an Einschlüssen. In Sanghera 2025 lag die Präzision auf einem ausgewogenen Datensatz bei 0,93 und auf dem realen bei 0,004 bis 0,096. Ein Test in Ihrem eigenen Review vermeidet das.
  • Ein ungeprüfter Referenzstandard. Er lässt die KI meist schlechter aussehen, als sie ist.
  • Unterschiedliches Material für KI und Reviewer. In Konet 2024 erreichte dasselbe Modell 68,8 % beim Lesen eines PDFs über ein Plug-in und 100 % mit dem Text als Eingabe.

Schritt 2 · Zuerst an einer kleinen Stichprobe

Kalibrieren, dann einfrieren

Sie dürfen die KI an den Review anpassen. Sie müssen mit dem Anpassen nur fertig sein, bevor Sie messen.

Nehmen Sie eine kleine Stichprobe von Datensätzen und legen Sie sie als Ihre Kalibrierungsstichprobe beiseite. Nutzen Sie sie wie einen Pilotdurchgang: Ihre Reviewer screenen sie, Sie prüfen die Abweichungen der KI und schärfen dann die Formulierung Ihrer Eignungskriterien oder ändern Einstellungen. Wiederholen Sie das bei Bedarf. Notieren Sie die Größe der Stichprobe, die Zahl der Runden und jede Änderung. Testen Sie an abgeschlossenen Reviews, nehmen Sie die Kalibrierungsstichprobe aus Reviews, die Sie für das Ergebnis nicht verwenden.

Wenn Sie zufrieden sind, frieren Sie ein: Von jetzt an bleiben die Einstellungen, die Formulierung der Kriterien und die Tool-Version, wie sie sind. Alle übrigen Datensätze bilden Ihre Evaluationsmenge. Die Kalibrierungsstichprobe gehört nicht dazu.

Der Grund ist einfach. Ändern Sie etwas, nachdem Sie gesehen haben, wie die KI auf der Evaluationsmenge abgeschnitten hat, wissen Sie nicht mehr, ob das Ergebnis auf Datensätzen hält, die sie nicht gesehen hat.

Ihre Checkliste für diesen Schritt

  1. 6

    Kalibrieren Sie Einstellungen und Formulierung der Kriterien an einer Kalibrierungsstichprobe außerhalb der Evaluationsmenge. Dokumentieren Sie jede Runde und jede Änderung.

    RAISE 2

  2. 7

    Prüfen Sie die Konfiguration Zeile für Zeile gegen Ihr Protokoll. Vereinbaren Sie, wie Reviewer Datensätze markieren, die sie aus anderen Gründen behalten, etwa Reviews wegen ihrer Literaturverzeichnisse.

    PublikationUnsere Empfehlung

  3. 8

    Frieren Sie Einstellungen, Formulierung der Kriterien und Tool-Version ein. Die Beratung durch den Entwickler endet hier.

    RAISE 2

  4. 9

    Registrieren Sie das Protokoll zusammen mit der eingefrorenen Konfiguration.

    PublikationRAISE 1, Empf. 3.3

In Puraite

Pilotrunden werden gerade eingeführt. Bis dahin ziehen Sie eine zufällige Kalibrierungsstichprobe außerhalb von Puraite und importieren sie in ein eigenes Projekt. Lassen Sie Ihre Reviewer die Stichprobe screenen und vergleichen Sie nach jeder Änderung der Kriterien die KI-Entscheidungen mit deren Konsens.

Fragen Sie uns vor dem Einfrieren nach dem Puraite-Release und dem KI-Modell, die Ihr Projekt genutzt hat (contact@puraite.com). Exportieren Sie den Audit Trail, um die Formulierung Ihrer Kriterien festzuhalten.

Wo Sie registrieren

OSF Registries eignet sich für jede Evaluation. Ist die Evaluation Teil eines Reviews, ist der SWAR Store für Studien innerhalb eines Reviews gedacht. Sie können ihn im Protokoll des Reviews erwähnen. PROSPERO registriert nur systematische Reviews.

Was, wenn Sie nach dem Einfrieren ein Problem finden?

Das kommt vor. Es entwertet Ihre Evaluation nicht, solange Sie es berichten. Drei Fälle:

  • Das Tool hat einen Defekt. Es verhält sich nicht wie dokumentiert: Ein Durchlauf schlägt fehl oder Datensätze werden übersprungen. Halten Sie an, lassen Sie den Entwickler den Fehler beheben, lassen Sie die betroffenen Datensätze erneut laufen und berichten Sie den Vorfall.
  • Ihr Setup passt nicht zu Ihrem Protokoll. Zum Beispiel ist ein Kriterium in der falschen Liste gelandet. Korrigieren Sie es anhand des Protokolls, niemals anhand der Ergebnisse. Lassen Sie die betroffenen Datensätze erneut laufen und berichten Sie die früheren Ergebnisse als Sensitivitätsanalyse.
  • Sie stimmen den Entscheidungen der KI nicht zu. Das ist ein Ergebnis und kein Problem, das Sie beheben müssen. Kriterien jetzt umzuformulieren wäre Kalibrierung. Das muss bis nach der Evaluation warten.

Schritt 3 · An den übrigen Datensätzen

Lassen Sie die KI dieselben Datensätze bearbeiten wie die Reviewer

In einem laufenden Review screenen Ihre Reviewer wie gewohnt. Die KI screent dieselben Datensätze und keine Seite sieht die Entscheidungen der anderen.

Bei abgeschlossenen Reviews liegen die Entscheidungen der Reviewer schon vor. Lassen Sie die KI dieselben Datensätze bearbeiten und stellen Sie sicher, dass nichts, was sie erhält, diese Entscheidungen verrät.

Zwei Dinge halten den Vergleich fair. Ihre Reviewer dürfen die Ausgabe der KI nicht sehen, während sie entscheiden. Sonst sind ihre Entscheidungen nicht mehr unabhängig. Und die KI sollte dasselbe Material erhalten wie Ihre Reviewer: dieselben Abstracts, dieselben Volltexte und dieselbe Version der Kriterien. Wo das nicht möglich ist, sagen Sie es in Ihrem Bericht.

Wenn alle Entscheidungen vorliegen, sammeln Sie jeden Datensatz, bei dem KI und Reviewer uneins sind. Eine dritte Person entscheidet jeden davon anhand des schriftlichen Protokolls, ohne zu wissen, welche Entscheidung von der KI stammt. Einige davon werden sich als Fehler der Reviewer herausstellen. Das ist zu erwarten und Sie berichten es.

Ihre Checkliste für diesen Schritt

  1. 10

    Lassen Sie die KI die Evaluationsmenge bearbeiten. Die Reviewer sind gegenüber ihrer Ausgabe verblindet und beide erhalten dasselbe Material.

    NICE ECD20Konet 2024

  2. 11

    Führen Sie ein Protokoll jeder Abweichung: Pausen, Korrekturen, Versionswechsel und Kontakt mit dem Entwickler.

    PublikationRAISE 2Das Kontaktprotokoll ist unsere Empfehlung

  3. 12

    Lassen Sie die KI eine zufällige Teilmenge mindestens zweimal erneut bearbeiten und berichten Sie, wie oft die Durchläufe übereinstimmen.

    PublikationNICE ECD20RAISE 2

  4. 13

    Lassen Sie jede Uneinigkeit zwischen KI und Referenzstandard von jemandem entscheiden, der ihre Herkunft nicht kennt.

    NICE ECD20

In Puraite

Fügen Sie die KI in einem laufenden Review in der Shadow-Rolle zu Ihrem Projekt hinzu. Sie screent jeden Datensatz und Ihre Reviewer sehen ihre Entscheidungen erst, wenn die Phase abgeschlossen ist. Für abgeschlossene Reviews siehe Was Puraite noch nicht kann.

Lassen Sie die KI für Punkt 12 nicht im selben Projekt erneut laufen, weil das ihre früheren Entscheidungen überschreibt. Kopieren Sie Ihre zufällige Teilmenge mit dem Projekt-Setup direkt nach dem Hauptdurchlauf in zwei neue Projekte. Lassen Sie die KI in jedem einmal laufen und bitten Sie uns per E-Mail um eine Bestätigung von Release und Modell für jeden Durchlauf. Vergleichen Sie dann die drei Exporte.

Nach dem Einfrieren beantworten wir technische Fragen und beheben Defekte. Wir schicken Ihnen ein Protokoll jedes Kontakts, damit Sie ihn berichten können.

Warum die KI mehr als einmal laufen lassen?

Ein Sprachmodell kann zum selben Datensatz unterschiedliche Antworten geben. Lassen Sie eine Teilmenge zwei weitere Male laufen und ändern sich die Antworten selten, wissen Ihre Leser, dass das Ergebnis stabil ist. Ändern sie sich oft, ist das für sich genommen ein wichtiger Befund.

Schritt 4 · Wenn alle Entscheidungen vorliegen

Berichten Sie, was Sie gefunden haben

Berichten Sie so viel, dass andere Ihr Ergebnis beurteilen und Ihre Studie wiederholen können.

  • Ihr Hauptmaß mit einem 95-%-Konfidenzintervall und die vollständige Tabelle der Häufigkeiten dahinter. Das Intervall zeigt, wie stark das Ergebnis in einem anderen Review abweichen könnte.
  • Wie Ihre Reviewer abgeschnitten haben, auf dieselbe Weise gemessen. Eine verpasste Studie bedeutet etwas anderes, wenn einzelne Reviewer genauso viele verpassen.
  • Die Datensätze, die die KI fälschlich ausgeschlossen hat. Sagen Sie, welche es waren und, wenn Sie es erkennen können, warum die KI sie verpasst hat. Für andere Reviewer ist das oft der nützlichste Teil.
  • Was genau Sie getestet haben: Tool, Version, Modell, Laufdaten und Einstellungen, dazu wie Sie kalibriert haben und alles, was vom Plan abwich.
  • Ihre Interessen und jede Beteiligung des Entwicklers.

Für diese Art von Studie gibt es noch keine abgestimmte Berichtscheckliste. Nutzen Sie den Berichtsrahmen in RAISE 2 und TRIPOD-LLM. Im Review selbst beschreiben Sie das Tool unter den Punkten 8 und 9 von PRISMA 2020.

Veröffentlichen Sie unabhängig vom Ergebnis. Eine Studie, die zeigt, wo ein Tool versagt, hilft anderen Review-Teams so viel wie eine, die zeigt, wo es funktioniert.

Ihre Checkliste für diesen Schritt

  1. 14

    Berichten Sie das Hauptmaß mit einem 95-%-Konfidenzintervall, die vollständige Tabelle und die menschliche Fehlerrate.

    NICE ECD20

  2. 15

    Analysieren Sie die fälschlich ausgeschlossenen Datensätze.

    PublikationRAISE 2

  3. 16

    Berichten Sie Tool, Version, Modell, Laufdaten, Einstellungen, Kalibrierungsverlauf und Abweichungen.

    RAISE 1, Empf. 3.5TRIPOD-LLM

  4. 17

    Legen Sie Ihre Interessen und jede Beteiligung des Entwicklers offen.

    PublikationRAISE 1, Empf. 3.7RAISE 2

  5. 18

    Veröffentlichen Sie unabhängig vom Ergebnis, teilen Sie Ihre Entscheidungen auf Datensatzebene und Ihren Code und schicken Sie den veröffentlichten Bericht an den Entwickler.

    PublikationRAISE 1, Empf. 3.4–3.6 und 3.8

In Puraite

Der Export der Screening-Entscheidungen gibt Ihnen je Datensatz die Entscheidung, Begründung und Zeitstempel jedes Reviewers und der KI, mit dem Modell und den Laufdaten. Die Screening-Statistik wird gerade eingeführt. Bis dahin berechnen Sie Sensitivität, Spezifität und die Tabelle der Häufigkeiten mit 95-%-Intervallen aus dem Entscheidungsexport. Die geplante Seite beschreibt Screening statistics im Help Center (Anmeldung erforderlich).

Fragen Sie uns für Punkt 16 nach dem Release und dem Modell, die Ihr Projekt genutzt hat (contact@puraite.com). Lassen Sie sich die Effort- und Sampling-Einstellungen Ihrer Durchläufe von uns bestätigen, bevor Sie sie berichten. Berichten Sie beim Volltext-Screening den Anteil der KI-Entscheidungen, die auf Basis des Abstracts getroffen wurden. Diesen zeigt die Spalte Text Basis im Export.

Die Referenz und einen Satz für den Methodenteil finden Sie unter Puraite zitieren. Auf Wunsch prüfen wir die Aussagen über die Funktionsweise von Puraite in Ihrem Manuskript. Ergebnisse und Schlussfolgerungen kommentieren wir nicht.

So formulieren Sie die Offenlegung

Hilfe eines Entwicklers ist erlaubt, wenn sie vor dem Einfrieren endete und Sie sie angeben. Haben Sie ein finanzielles Interesse an dem Tool, geben Sie es an und bezeichnen Sie die Studie nicht als unabhängig (RAISE 1, Empfehlung 3.7). Kostenloser Zugang ist kein finanzielles Interesse, erwähnen Sie ihn aber. Diese Vorlage können Sie anpassen:

Puraite (Version X) wurde im Rahmen [eines kostenlosen Evaluationszugangs / einer kostenpflichtigen Lizenz] genutzt. Mitarbeitende von Puraite [haben das Protokoll vor dem Hauptdurchlauf geprüft / haben Sachaussagen über das Tool geprüft]. Puraite war an Datenerhebung, Adjudikation, Analyse, Interpretation und der Entscheidung zur Veröffentlichung nicht beteiligt. [Autor/Autorin] erklärt [Interessen / keine].
Ihre Daten teilen

Teilen Sie die Entscheidungen auf Datensatzebene mit Kennungen wie DOIs oder PMIDs. Teilen Sie keine Abstracts oder Volltexte, denn diese sind meist urheberrechtlich geschützt.

So unterstützt Sie Puraite

Wenn Sie eine Evaluation von Puraite veröffentlichen wollen, helfen wir Ihnen, sie gut aufzusetzen. Danach halten wir uns heraus.

Sie müssen kein Kunde sein. Diese Unterstützung können Sie anfragen, Schritt für Schritt:

WannWas wir tun
Schritt 1Kostenloser Evaluationszugang für die KI-Nutzung in Ihrem Protokoll bis zur Veröffentlichung plus drei Monate für Überarbeitungen. Protokollprüfung: Wir kommentieren, Sie entscheiden.
Schritt 2Hilfe bei der Kalibrierung an Ihrer Stichprobe und eine Prüfung Ihrer Konfiguration Zeile für Zeile gegen Ihr Protokoll.
Schritt 3Unsere Beratung endet mit dem Einfrieren. Wir beantworten nur technische Fragen, beheben Defekte und protokollieren jeden Kontakt für Sie.
Schritt 4Eine Sachprüfung Ihres Manuskripts, wenn Sie eine wünschen, innerhalb von 10 Arbeitstagen. Danach führen wir Ihre veröffentlichte Evaluation auf unserer Website auf, unabhängig von ihrem Ergebnis.

Wir lassen die KI nicht auf Ihren Daten laufen, führen keine Analyse durch, entscheiden keine Uneinigkeiten und schreiben keinen Teil Ihres Manuskripts.

Was wir nie tun

  • Wir fragen vor der Veröffentlichung nicht nach Ihren Ergebnissen. Wenn Sie sie teilen, verlangen wir keine Änderungen.
  • Wir genehmigen, blockieren oder verzögern keine Veröffentlichung und wählen nie aus, welche Ergebnisse berichtet werden.
  • Wir verlangen nie eine Änderung der Schlussfolgerungen und bearbeiten sie nie.
  • Wir ändern nie Ihre Konfiguration oder Ihren Referenzstandard.
  • Wir verlangen nie eine Geheimhaltungsvereinbarung (NDA) und bieten nie Bezahlung oder andere Vergütung über den Evaluationszugang hinaus.
  • Wir sind nicht Mitautor einer Studie, die als unabhängig dargestellt wird.

Es gibt keinen gesonderten Vertrag. Es gelten unsere normalen Nutzungsbedingungen und unser Auftragsverarbeitungsvertrag. Wir bestätigen diese Bedingungen und die Unterstützung, die Sie angefragt haben, per E-Mail. Diese E-Mail können Sie in Ihrer Offenlegung zitieren.

Wenn Ihre Evaluation zeigt, dass Puraite besser werden muss, wollen wir das sehen. Für jede bestätigte Schwäche legen wir ein Produkt-Ticket an.

Wenn sich Puraite während Ihrer Evaluation ändert

Wir informieren Sie immer über einen Versions- oder Modellwechsel, der Ihr Projekt betrifft. Sie wählen dann: den Hauptdurchlauf auf der neuen Version neu starten oder abschließen und den Wechsel als Abweichung berichten, mit Ergebnissen getrennt nach Version. Diese Wahl treffen wir nie für Sie. Blockiert ein Defekt Ihre Evaluation, beheben wir ihn für alle Kunden ohne Abstimmung auf Ihre Daten. Wir nennen Ihnen das Release und die Änderung.

Was Puraite noch nicht kann

Stand: 10. November 2026. Wir aktualisieren diese Liste, wenn sich etwas ändert.

  • Einführung und Versionsangaben. Pilotrunden werden gerade eingeführt. Der Bereich zur KI-Version und die Screening-Statistik werden gerade eingeführt; bis dahin schicken wir Release und Modell per E-Mail und Sie berechnen die Sensitivität aus dem Entscheidungsexport. Prompt-Versionen werden noch nicht angezeigt oder eingefroren. Berichten Sie das Release und die Laufdaten.
  • Wiederholte Durchläufe. Dafür gibt es keine eingebaute Funktion. Nutzen Sie die Kopiermethode aus Schritt 3.
  • Abgeschlossene Reviews. Ein Test gegen bestehende Entscheidungen braucht einen Import, den wir auf Anfrage für Sie freischalten. Er liest nur Rayyan-Exporte.
  • Volltexte. Die KI liest den aus dem PDF extrahierten Text, Ihre Reviewer lesen das PDF selbst. Geben Sie das in Ihrem Bericht an.
  • Datenextraktion. Es gibt keinen eingebauten Vergleich. Lassen Sie verblindete menschliche Durchgänge und einen KI-Durchgang laufen, exportieren Sie die Werte mit ihrer Herkunft und werten Sie sie selbst aus.
  • Risk of Bias. Ein verblindeter Vergleich von KI und Reviewern ist noch nicht möglich.

Planen Sie eine Evaluation mit uns

Nennen Sie uns die Phase, die Sie evaluieren wollen, die Rolle der KI, Ihr geplantes Design und Ihren Zeitplan sowie ungefähr die Zahl der erwarteten Datensätze. Wir antworten innerhalb von 5 Arbeitstagen.

Wir verwenden Ihre Angaben, um Ihre Anfrage zu beantworten. Mehr dazu in unserer Datenschutzerklärung.

Quellen

Änderungsprotokoll

Wir korrigieren und aktualisieren diesen Leitfaden, wenn sich Leitlinien und Puraite ändern. Zitieren Sie die Version, die Sie genutzt haben.

VersionDatumWas sich geändert hat
1.010. November 2026Erstveröffentlichung.
Funded by the German Federal Ministry for Economic Affairs and Energy and the European Union through the European Social Fund Plus (ESF Plus). Implemented by Projektträger Jülich as part of the EXIST programme.