https://frosthead.com

Kan en computer virkelig bedømme et essay?

I fremtiden vil computere være vores læger, vores soldater, vores brandmænd og vores lærere. De diagnosticerer sygdomme, plejer vores babyer, beskytter vores hjem og lærer vores børn. Et firma er allerede ved at udvikle et essay-klassificeringscomputerprogram, der kan fjerne belastningen fra professorer og standardiserede testgradere. Men kan en computer virkelig bedømme et omhyggeligt udformet essay?

Virksomheden, edX, synes bestemt. De tilbyder allerede onlinekurser til institutioner sammen med et kunstigt intelligenssystem, der klassificerer studerendes essays. John Markoff ved New York Times forklarer:

Anant Agarwal, en elektrisk ingeniør, der er præsident for EdX, forudsagde, at softwaren til øjeblikkelig bedømmelse ville være et nyttigt pædagogisk værktøj, der gør det muligt for studerende at tage prøver og skrive essays igen og igen og forbedre kvaliteten af ​​deres svar. Han sagde, at teknologien ville tilbyde forskellige fordele i forhold til det traditionelle klassesystem, hvor studerende ofte venter dage eller uger på karakterer.

”Der er en enorm værdi ved at lære med øjeblikkelig feedback, ” sagde Dr. Agarwal. ”Studerende fortæller os, at de lærer meget bedre med øjeblikkelig feedback.”

Hvorvidt den øjeblikkelige feedback er af høj kvalitet, er et andet spørgsmål. Skeptik for disse computerklassificeringer er ikke svært at finde. En gruppe, der kalder sig Professionals Against Machine Scoring of Student Essays in High-Stakes Assessment, udsendte en erklæring og indsamler underskrifter for at tale imod at overgive opgaven med at klassificere til en computer. De skriver:

Lad os se realiteterne i automatisk essayscoring. Computere kan ikke "læse." De kan ikke måle det væsentlige ved effektiv skriftlig kommunikation: nøjagtighed, resonnement, bevismængde, god fornuft, etisk holdning, overbevisende argument, meningsfuld organisation, klarhed og ægthed blandt andre.

Andragendet beder lovgivere om at stoppe med at stole på computere til klassificering og for skoler til at stoppe med at købe ind i de automatiserede scoringssystemer.

Agarwal anerkender, at softwaren kunne være bedre og håber, at den bliver bedre til at skelne et godt essay fra middelmådigt. ”Dette er maskinlæring, og der er en lang vej at gå, men det er godt nok, og opsiden er enorm, ” sagde han til New York Times . Han siger også, at enhver, der synes, at lærere er konsekvente, narrer sig selv. ”Vi fandt, at kvaliteten af ​​klassificeringen svarer til den variation, du finder fra instruktør til instruktør.”

Faktisk har nogle undersøgelser antydet, at computere og lærere forfølger den samme slags variation i score. En undersøgelse af Mark Shermis ved University of Akron konkluderede, at "automatiseret essayscoring var i stand til at producere scoringer, der ligner menneskelige scoringer til skrivning af emner med udvidet respons med lige præstation for både kildebaseret og traditionel skriftsgenre." Shermis's undersøgelse, dog blev aldrig offentliggjort i et tidsskrift, og andre forskere har stillet spørgsmålstegn ved dens påstande. Les C. Perelman fra MIT skrev et svar på Shermis-papiret og skrev, at "en tæt undersøgelse af papirets metodologi og de anvendte datasæt viser, at en sådan påstand ikke understøttes af dataene i undersøgelsen."

Gruppen af ​​fagfolk citerer også flere papirer, der antyder, at computere ikke er så gode som lærere til at evaluere studerende.

Mest sandsynligt er dette et spørgsmål om, hvorvidt disse computere er gode nok til at klassificere endnu, ikke om de nogensinde vil være det. Men det er ikke kun lærere, der får mere high tech, også studerende. Hvis eleverne lærer, hvad programmet leder efter, kunne de simpelthen selv skrive et program for på sin side at skrive det perfekte essay baseret på softwares specifikationer. Måske fremover klassificerer edb-lærere edb-studerende.

Mere fra Smithsonian.com:

Estlands undervisning 100 procent af dets første klassetrin til kode
Undervisning af politiet til at se

Kan en computer virkelig bedømme et essay?