AI som forskningsassistent og sekretær

 Som en del av jobben så tar jeg på med fagfellevurderinger av andres artikler av og til. Som regel er slike jobber interessante da de gir ny informasjon og nye perspektiver. I dag satte jeg av tid til dette, en artikkel om vann, klimaendringer og sikkerhet i Bangladesh som hørtes interessant ut. 


Jeg fikk lastet ned artikkelen, og etter en stund kom jeg til noen setninger som ga utrolig liten mening: 

"Bangladesh emerges as a climate change impact zone (Eckstein et al., 2019) where escalating temperatures severely degrade water quality. The past ten years have seen an average temperature rise of 0. The temperature stands at 20°C while yearly precipitation is expected to increase by 153 mm according to Rahman and Lateh's 2017 study. Surface water temperatures will rise by 2°C by 2070 causing increased threats to water quality and ecosystem stability."

Videre kom det plutselig en referanse til Three Gorges Dam i Kina, så slo det meg: Kan de ha brukt KI assistanse her?. Hva er bedre tiltak da enn å fyre opp diverse KI løsninger og be dem sjekke teksten for KI. Resultatet ble uniformt:

Le Chat av Mistral, Gemini, ChatGPT, og KI-chat (fra SIKT) ga samme svar: Det er trolig brukt KI til å lage deler av teksten. Her er KI-chat sitt svar:

"Ja, det er mulig at denne teksten er generert av en KI (kunstig intelligens), selv om det ikke er mulig å slå det fast med sikkerhet basert kun på innholdet. Her er noen tegn som kan indikere at teksten kan være KI-generert:

1. **Formell og generisk stil**: Teksten har en akademisk tone, men den mangler dybde eller spesifikke analyser som ofte kjennetegner menneskeskrevne artikler. KI-genererte tekster er ofte velskrevne, men kan virke overfladiske.

2. **Manglende sammenheng i tall**: En del av teksten sier at temperaturen har steget med "0" de siste ti årene, noe som virker som en feil eller et manglende datafelt. Dette kan tyde på automatisert tekstgenerering.

3. **Overbelastning av referanser**: Teksten navngir mange forskjellige studier (Eckstein et al., 2019; Rahman og Lateh, 2017; Kolb et al., 2017, osv.) på en måte som kan virke kunstig. KI-modeller har en tendens til å inkludere mange referanser for å fremstå troverdige, selv om referansene ikke nødvendigvis er nøyaktige eller relevante.

4. **Manglende dybde i analysen**: Selv om teksten nevner mange viktige temaer som klimaendringer, temperaturøkning og vannkvalitet, virker den mer som en oppsummering enn en dyptgående diskusjon. Dette er typisk for KI-genererte tekster."

Jeg avbrøt nå lesingen og skrev anbefalte et avslag av artikkelen. Dette avslaget bygger ikke på at de eventuelt har brukt KI som støtte i arbeidet, men at de trolig har brukt KI-tekster rått, kanskje til og med uten å lese gjennom uten å oppgi at de har brukt KI. Teksten i resten av dokumentet var også av lavere kvalitet. 

Min mening om bruk av KI-tjenester i forskning

  • Vi bruker mye tid på å lete etter relevante studier innen fagfeltet, her kan KI-løsninger bli et meget sterkt verktøy.
  • Å bruke KI verktøy til å skrive sammendrag av en eller flere studier er også nyttig, men bør bare brukes for en selv eller internt i en gruppe
  • Å publisere KI  skrevne tekster som sine egne, er i beste fall dårlig praksis. Å gjøre det som i denne artikkelen,rått og "skjult", er på grensen til forskningsjuks.

Kommentarer

Legg inn en kommentar

Populære innlegg fra denne bloggen

Hvor stor er en flis?

 Det er en blogger der ute (verstat.no) som elsker å pirke i småtteri av feil vi gjør, og vi er ikke ufeilbarlige så han har mye å pirke i. I forbindelse med siste månedsoversikt slapp vi en pressemelding om nesten 100 stasjoner med rekorder:  https://www.met.no/nyhetsarkiv/februar-satte-naer-100-varmerekoder   Om en går etter i månedsrapporten så finner en raskt at av disse er det 8 med tangering. Det kunne vi vært tydeligere om.  I tillegg er rundt halvparten av stasjonene yngre enn vi gjerne skulle ønsket de var. Nå er det slik at målestasjoner har en form for livssyklus: De settes opp, de driftes og de legges ned. Dette gjør at stasjonene dessverre ikke har en uendelig måleserie fra samme sted, vi har for eksempel svært få stasjoner som er over 100 år. I tillegg er det naturlig at en ung målestasjon setter hyppigere rekorder enn en veletablert stasjon. Som en praktisk grense for å filtrere vekk en del av rekordene som ung stasjon har vi satt minst 15 år med data ...
Les mer

Hvor varmt blir 2025?

Bilde
 Kan vi basert på historikken si noe om hvor varmt, eller kaldt 2025 blir. Om vi plotter opp temperaturindeksen fra GISSTemp blir den noe slik: Dette er en graf vi alle har sett før. Om en så estimerer hva en gjennomsnittlig endrer temperaturen fra et år til et annet får vi 0,01 Celsius, noe som, i likhet med grafen, indikerer at vi har en oppvarming gjennom perioden datsettet er for. Tar vi standardavviket så finner vi 0,11 C, med ganske ord ganske stor variasjon. Største økning er 0,28 Celsius, mens største avkjøling er -0,25 C. Det vil si at tar en utgangspunkt i data fra 2024 kan en ikke forvente en avkjøling på mer enn 0,25 Celisu, eller en tilsvarende oppvarming, høyst sansynlig ligger det i rommet årets temperatur +/- 0,11C. Hvis vi tar grafen over og legger på et farget bånd som for hvert år estimerer neste året mer spennet fra -0.25 til 0.28 får vi følgende graf: Og ser vi på bare det siste 10året så finner vi følgende: Noe som indikerer at på det kaldeste vil 2025 komme p...
Les mer

Interresant dag og lånte fjær

Cicero holdt Cicero dagen for tredje gang. Programmet var tettpakket med interessante foredrag i tre parallelle sesjoner, og her er kortversjon av de delene jeg fulgte. Kristin Halvorsen sa velkommen og holdt tungen varm mens vi ventet på statsråden. Hun trakk frem Gandhi's ord: Først ignorerer de deg, så latterliggjør de deg, så sloss de mot deg, og til slutt vinner du. Halvorsen antydet at vi nærmer oss det siste stadiet, jeg er mer skeptisk. Bjelland Eriksen trakk frem at Klima i Norge kommer til høsten. Så trakk han frem at Parisavtalen fungerer, men for svakt. Det siste er vel en underdrivelse av dimensjoner da vi har blåst gjennom alle ambisjonene i Parisavtalen til gangs og 1,5 C oppvarming ser ut til å være like realistisk som Soria Moria slott. Klimastatus, her aner jeg at noen synes vi har et bra arrangement i januar da vi har holdt Klimastatus årlig 10 år før Cicero kom med samme navn, ga en kjapp gjennomgang av mange aspekter: * Det kan se ut som om vi er i ferd med å p...
Les mer