Von Prompt, Prozess und Produkt : Zum Einfluss der ChatGPT-Nutzung auf die Qualität von Schüler*innentexten

Die in der vorliegenden Arbeit durchgeführte empirische Studie soll Antworten auf die Fragestellung »Wie nutzen Schüler*innen der Stufe EF eines Gymnasiums in NRW ChatGPT in ihrem Schreibprozess und wie wirkt sich die (un)angeleitete Nutzung im Vergleich zu einer Nichtnutzung auf die Qualität ihrer Texte aus?« geben. Dabei werden die Schüler*innen in eine von drei Gruppen eingeteilt, die jeweils eine der genannten Nutzungs-Ausprägungen als Treatment erfährt. Nutzung wird dabei anhand wissenschaftlicher Vorarbeit vorangegangener Studien operationalisiert. Die Ausprägungen, die im theoretischen Teil dieser Arbeit dargelegt werden, sind der Verwendungszweck, die Rollenzuweisung, das Promptdesign und die Promptingstrategie. Diese werden entsprechend der qualitativen Inhaltsanalyse nach Mayring codiert und ausgewertet. Die Schreibaufgabe richtet sich nach der Textform ›Inhaltsangabe‹ und den wiederum durch diese vorgegebenen Bewertungskriterien ›Tempus‹, ›Stil‹, ›Abstraktion‹, ›Vollständigkeit‹, ›Kohäsion‹ und ›Kohärenz‹. Die Gesamtqualität eines Textes bemisst sich an einem gewichteten Summenscore dieser Kriterien, welche für jeden Text jeweils durch zwei Rater*innen anhand einer dreistufigen ordinalen Skala bewertet wurden. Die Studie kommt zu dem Ergebnis, dass die Kontrollgruppe im Durchschnitt inhaltlich bessere Texte verfasst, die Versuchsgruppen hingegen auf formaler Ebene besser abschneiden. Die beiden Versuchsgruppen unterscheiden sich in ihren Nutzungsmustern nur leicht voneinander. Beide weisen ChatGPT zu über 90 % die Rolle des Ghostwriters zu und übernehmen den Inhalt häufig ohne eigene Schreibanteile. Darüber hinaus sind die Inhaltsangaben in einigen Fällen von Inhalten geprägt, die nicht aus dem Referenztext stammen.

The empirical study conducted in this paper aims to answer the question: »How do high school students in North Rhine-Westphalia use ChatGPT in their writing process, and how does (un)guided use compare to non-use in terms of the quality of their texts?« The students are divided into three groups, each of which experiences one of the aforementioned types of use as a treatment. Use is operationalized on the basis of scientific preliminary work from previous studies. The characteristics outlined in the theoretical part of this study are the purpose of use, role assignment, prompt design, and prompting strategy. These are coded and evaluated according to Mayring’s qualitative content analysis. The writing task is based on the text form ›summary‹ and the evaluation criteria ›tense‹, ›style‹, ›abstraction‹, ›completeness‹, ›cohesion‹, and ›coherence‹ specified by this form. The overall quality of a text is measured by a weighted sum score of these criteria, which were evaluated for each text by two raters using a three-level ordinal scale. The study concludes that the control group writes better texts on average in terms of content, while the experimental groups perform better on a formal level. The two experimental groups differ only slightly in their usage patterns. Both assign ChatGPT the role of ghostwriter in over ninety percent of cases and often adopt the content without contributing any writing of their own. Furthermore, in some cases, the summaries are characterized by content that does not originate from the reference text.

Logo KiKI

Rights

Use and reproduction:


CC BY 4.0

Please note that individual components of the publication may be subject to other licensing or copyright conditions.

Cite

Citation style:
Could not load citation form.