AI gebruiken voor je scriptie
Je loopt al een tijdje rond op het hbo of de universiteit. Anders was je niet toe aan je scriptie. Toch? Dan kan het je niet ontgaan zijn: terwijl vier op de vijf studenten gebruikmaakt van AI tijdens de studie, zijn de meeste docenten druk in de weer om “fraude” met chatbots te kunnen ontmaskeren, breken faculteitsbesturen zich het hoofd over de vraag waar het toch heen moet de scriptie. Moeten ChatGPT en Claude in de ban, of deugt AI?
Nog niet zo lang geleden waren de prestaties van Chat dubieus als je de chat begon met: “Schrijf een scriptie over de invloed van PAK’s op de kwaliteit van het oppervlaktewater en de drinkwaterkwaliteit, met aanbevelingen hoe de risico’s zo klein mogelijk gemaakt kunnen worden”. Maar Chatbots worden steeds beter, en het tempo waarin de hallucinaties van AI afnemen is griezelig. De meeste flauwekul is verdwenen of gaat de komende tijd wel verdwijnen. Wat er staat is niet pertinent onwaar. Er is een zinnige indeling, er zijn adequate hoofd- en deelvragen. De conclusie lijkt ergens op. Bovendien maakt Chat minder taalfouten dan de meeste studenten.
Doen, kortom?
Nee. Niet klakkeloos. We leggen hier verderop uit waarom, maar niet voordat we hebben verteld waar je chatbots wél voor kunt gebruiken, en waardoor je meteen de discussie kunt overslaan over de vraag of je je scriptie hebt láten schrijven, of dat je het zelf hebt gedaan.
Wat kun je wel?
- Chat kan goed zoeken, en sneller dan jij. En Chat kan dingen heel precies.
- Zoek je relevante literatuur over een bepaald onderwerp, vraag het Chat.
- Ben je op zoek naar argumenten vóór of juist tegen een stelling, Chat is je vriend.
- Ben je kwijt waar de letters van SWOT ook weer voor staan... geen probleem.
- Chat is ook best goed in literatuurlijsten. Op de vraag: “geef de juiste referentie voor het artikel van Joan Fujimura over do-able problems” kwam Chat terug met het goede artikel, vormgegeven in APA7... best handig als je je literatuurlijst wat halfslachtig hebt bijgehouden tijdens het schrijven van je scriptie.
- Chat kan ook brainstormen (tip: zet de chatbot eens op ‘sarcastisch’... als dat je ding is).
- Chat kan literatuur voor je zoeken, literatuur uitleggen als je het moeilijk vindt.
- Chat kan suggesties geven voor een logische opbouw van je scriptie.
- Teksten samenvatten is ook handig (onder andere stukken van je scriptie, als je over je maximum aantal woorden heen zit).
Voorzichtigheid is geboden. Op de vraag tot welke macht de Officier van Justitie behoort, antwoordde Chat doodleuk: “Gerechtelijke macht”. Op de opmerking “Weet je dat wel zeker? Moet dat niet uitvoerende macht zijn?” haalde Chat snel, en met groot enthousiasme bakzeil. Laat je dus niet misleiden door de stelligheid waarmee chatbots soms de grootste onzin verkondigen. Vraag het desnoods aan twee bots.
Exemplarisch was ook de toespraak onlangs de opening van het academisch jaar, waarbij de Rector Magnificus van een universiteit leuk uit de hoek dacht te komen met een fraai citaat van niemand minder dan Albert Einstein. Alleen was dat citaat niet van Einstein. Waarna de dame in kwestie ChatGPT de schuld gaf.
Nu is dat voor een toespraak nog wel te redden… maar jíj zit straks tegenover twee examinatoren. Maar de toespraak van de RM en de organisatorische plek van de Officier leggen wel bloot waar de moeilijkheid zit bij chatbots: ze weten veel, maar ze zijn vooral bruikbaar als je zelf óók veel weet.
Wat kun je niet?
De meeste opleidingen in het hoger onderwijs zijn niet al te happig op het gebruik van chatbots. Het klinkt al snel of je álles hebt laten doen. Daar wordt ook op gecontroleerd, en omdat erop wordt gecontroleerd, zijn er weer allerlei tools om te verdoezelen dat Chat je grootste vriend was tijdens het afstuderen. “Het mag (eigenlijk) niet” is an sich een steekhoudend argument, maar er mag zoveel niet.
Toch zijn er ook inhoudelijke redenen om niet je hele scriptie aan je al dan niet sarcastische sparringpartner over te laten.
- Waar chatbots nog steeds notoir slecht in zijn, is ook maar enigszins origineel zijn. Dat is bij wetenschappelijk onderzoek een probleem, want originaliteit is zo’n beetje de kern van waar wetenschappelijk onderzoek over gaat. Wat al onderzocht is, hoeft immers niet nog eens onderzocht te worden.
We nemen de proef op de som: “Schrijf een scriptie over de invloed van PAK’s op de kwaliteit van het oppervlaktewater en de drinkwaterkwaliteit, met aanbevelingen hoe de risico’s zo klein mogelijk gemaakt kunnen worden.”
ChatGPT begint dan tekst op te hoesten met als titel:
“De invloed van PAK’s voor het oppervlaktewater en drinkwater. Met aanbevelingen om de risico’s te minimaliseren”
Dat is ten eerste een echo van de chat die we zelf begonnen zijn, en ten tweede zou de ondertitel er bij ons niet door komen. Natuurlijk zitten er aanbevelingen in een opdrachtonderzoek; dat je opdrachtgever iets met je onderzoek kan doen, is de essentie van opdrachtonderzoek. Die aanbevelingen horen echter niet in de titel aangekondigd. Dat is zoiets als een ondertitel als: “Met conclusies die het antwoord op de hoofdvraag geven.” Ja duh.
Weinig verrassend is de hoofdvraag die Chat teruggeeft… het is de zoekopdracht, maar dan in vraagvorm: “Wat is de invloed van PAK’s op de kwaliteit van oppervlaktewater en drinkwater in Nederland, en hoe kunnen de risico’s zo klein mogelijk worden gemaakt?”
Dat het een samengestelde vraag is (“en”) zien we maar even door de vingers, maar brengt je in de praktijk vrijwel altijd in de problemen.
De hoofdstukken die ChatGPT vervolgens etaleert, zijn meer opsommingen van thema’s die de moeite van het aansnijden waard zijn, inclusief de bulletpoints. Zo is er een hoofdstuk van twee alinea’s over wat PAk’s zijn (polycyclische aromatische koolwaterstoffen). Dat kan handig zijn om je gedachten te structureren, maar het is verre van een scriptie. Je zult dus nog flink wat extra opdrachten moeten geven om die hoofdstukken ook maar een beetje body en diepgang te geven. En dat is lastig, want buiten wat Chat in dit voorbeeld laat zien weten we maar weinig van PAK’s, toch? Dáárom wilden we immers dat Chat het voor ons zou doen.
Dataverzameling... erger dan problematisch
- Chatbots kunnen alleen informatie spuien die ze ergens kunnen opzoeken.
Fair point: dat kunnen ze grondig en goed, dus maak daar gebruik van! Alleen… het is bij vrijwel alle scripties de bedoeling dat je zelf nieuwe data verzamelt: je gaat het lab in, je gebruikt een dataset die je met je eigen unieke vragen interpreteert, je enquêteert, je interviewt, je observeert, je doet bronnenonderzoek. Kortom: je verzamelt nieuwe gegevens omdat het antwoord op de vraag die je wilt beantwoorden nergens te vinden is. Dat is óók essentieel voor wetenschappelijk onderzoek: je onderzoek moet iets toevoegen aan wat al bekend is, en dat gaat voor de meerderheid van de scripties door nieuwe data te verzamelen.
Soms krijgen wíj die vraag weleens: “Mag ik jullie niet interviewen? Dan doe ik net of het een interview is voor mijn scriptie. Kun jij dan doen of je een gemeenteambtenaar bent die beleid tegen PAK’s moet uitvoeren?” Dat kun je ook aan een chatbot vragen. In beide gevallen is het vervalsing van onderzoeksresultaten, wat we alleen al uit moreel oogpunt afraden. Je moet je bovendien afvragen wat je daarmee opschiet. Voordat dat leidt tot een bruikbaar gefraudeerd interview, heb je óók een echt interview gehouden, want ook hier zijn we niet erg onder de indruk van de diepgang van het interview. Je zult bij vrijwel alle vragen en antwoorden aanvullende opdrachten aan de chatbot moeten geven voordat het ergens op lijkt. Zie ter vergelijk de illustratieopdracht die we Chat gaven… mooi, maar toch net niet.
Daar komt bij dat je dan dus echt flauwekulresultaten krijgt, want de data zijn verzonnen, wat op zich al afdoende zou moeten zijn om dit soort dingen niet te willen.
Creatief?
Het is met AI net als met Excel, Word, nVivo, Mendeley of xMind: het is een hulpmiddel. Je kunt als je maar lang genoeg door chat met een chatbot best een goed hoofdstuk krijgen, maar alleen als je zelf heel kritisch blijft nadenken.
Het idee van een scriptie is dat je complexe problemen het hoofd kunt bieden. Complexe problemen vragen om creatieve oplossingen. Als het opleidingen erom te doen was je kennis te testen, hadden ze wel een afsluitend tentamen geregeld. Juist het aanvliegen van complexe problemen met een creatieve geest maakt dat je later in de wetenschap of het bedrijfsleven meer waard bent.
Net niet
Hoe knap ook, erg origineel is het niet. De opdracht aan ChatGPT was: “Maak een illustratie van een niet bestaand monster met zeven poten.” Je krijgt iets terug dat er wel wat van weg heeft, maar de plank net misslaat. De enige richtinggevende aanwijzing was: “zeven poten”. Maar dat is nog een brugje te ver. We vroegen Chat twee maal of de bot niet goed kon tellen en of het een nieuwe poging wilde doen. Het resultaat:
Conclusie
AI is er, dus maak er gebruik van. Ter vergelijk: niemand verlangt meer van je dat je je scriptie op een typemachine of handgeschreven inlevert. Er zijn tekstverwerkers. Niemand verlangt dat je alle statistische toetsen voor je onderzoek uit het hoofd doet. Er is SPSS. Maar net als met alle andere hulpmiddelen: blijf zelf denken. Wees kritisch, ook (en vooral) op wat AI je voorschotelt.