Die Fortschritte in der künstlichen Intelligenz sind unglaublich. Wir wissen immer noch nicht, wo die Grenzen sein können und ob es eines Tages völlig unmöglich sein wird, eine Kreation einer KI von einer menschlichen zu unterscheiden, beispielsweise in Texten oder in der Kunst.
Bis zu dieser Hypothese, bei der die Grenzen zwischen den Schöpfungen des einen und des anderen verschwimmen, können wir jetzt versuchen herauszufinden, ob ein Text von einem Menschen oder von einer KI geschrieben wurde.
Erkennen Sie Text, der von KI eingegeben wurde
OpenAI hat einen KI-Textklassifizierer veröffentlicht, der versucht zu erkennen, ob Eingabeinhalte mit Tools für künstliche Intelligenz wie ChatGPT generiert wurden. „Der AI Text Classifier ist ein angepasstes GPT-Modell, das prognostiziert die Wahrscheinlichkeit, dass eine KI einen Text generiert hat aus einer Vielzahl von Quellen, wie z. B. ChatGPT“, erklärt ein neuer OpenAI-Blogbeitrag.
OpenAI führte das Tool ein, nachdem zahlreiche Universitäten und Schulbezirke den beliebten KI-betriebenen Chatbot des Unternehmens, ChatGPT, aufgrund seiner Fähigkeit verboten hatten kompletter Schüler Aufgaben wie das Schreiben von Buchbesprechungen, Essays und sogar das Abschließen von Aufgaben. Programmierung.
Die Bedienung ist ganz einfach. Dazu muss man einfach hingehen Website dieses Verifizierungstools und melden Sie sich an oder registrieren Sie sich (Ihr Konto reicht aus, wenn Sie ChatGPT verwenden). Danach müssen Sie den Text einfügen, den Sie überprüfen möchten, und das Tool gibt ein Ergebnis zurück, das besagt, ob er wahrscheinlich von einer KI oder einem Menschen geschrieben wurde.
„Nicht 100 % zuverlässig“, warnt OpenAI
Da Pädagogen dieses neue KI-Tool zur Textüberprüfung wahrscheinlich verwenden werden, um zu überprüfen, ob Schüler bei ihren zugewiesenen Aufgaben betrogen haben, warnt OpenAI davor, dass es nicht als „einziger Test“ zur Feststellung akademischer Unredlichkeit verwendet werden sollte.
„Unser Klassifikator ist nicht absolut zuverlässig. Bei unseren Bewertungen eines „Challenge-Sets“ englischer Texte hat unser Klassifikator identifiziert 26 % des von KI geschriebenen Textes korrekt (wahre positive Ergebnisse) als „wahrscheinlich KI-geschrieben“ eingestuft, während von Menschen geschriebener Text fälschlicherweise als 9 % von KI geschrieben gekennzeichnet wird (Falsch-Positive). Die Zuverlässigkeit unseres Klassifikators verbessert sich im Allgemeinen, wenn die Länge des Eingabetexts zunimmt. Im Vergleich zu unserem zuvor veröffentlichten Klassifikator ist dieser neue Klassifikator wesentlich zuverlässiger im Text der neuesten KI-Systeme.“
Außerdem haben sie geteilt eine Reihe von Einschränkungen damit die Verwendung des Textklassifikators so effektiv wie möglich erfolgen kann.
- Bei kurzen Texten (weniger als 1,000 Zeichen) ist der Klassifikator sehr unzuverlässig. Selbst die längsten Texte werden manchmal vom Klassifikator falsch gekennzeichnet.
- Manchmal kennzeichnet der Klassifikator von Menschen geschriebenen Text fälschlicherweise als KI-geschrieben.
- Es wird empfohlen, den Klassifikator nur für englischen Text zu verwenden. Es funktioniert in anderen Sprachen deutlich schlechter und ist im Code unzuverlässig.
- Text, der sehr vorhersehbar ist, kann nicht zuverlässig identifiziert werden. So lässt sich beispielsweise nicht vorhersagen, ob eine Liste der ersten 1,000 Primzahlen von KI oder von Menschen geschrieben wurde, weil die richtige Antwort immer gleich ist.
- Von AI eingegebener Text kann bearbeitet werden, um den Klassifikator zu umgehen. Klassifikatoren können basierend auf erfolgreichen Angriffen aktualisiert und neu trainiert werden, aber es ist unklar, ob die Erkennung einen langfristigen Vorteil hat.
- Es ist bekannt, dass auf neuronalen Netzwerken basierende Klassifikatoren außerhalb ihrer Trainingsdaten schlecht kalibriert sind. Bei Eingaben, die sich stark vom Text im Trainingssatz unterscheiden, ist der Klassifikator manchmal sehr zuversichtlich, dass es sich um eine falsche Vorhersage handelt.
