Zalecam ostrożność #4: AI Prymus zdaje maturę z języka polskiego

Robot Prymus

Nie wiem, czym jest Robot Prymus. Szukałem przez dłuższą chwilę jego specyfikacji technicznej, ale w internecie poza filmem reklamowym z akcji oraz krótkimi notkami prasowymi nie znalazłem żadnych pogłębionych informacji.

Prymus, model AI, przygotowywał się do matury na podstawie tej samej wiedzy, co tegoroczni abiturienci. Wyposażony został w podstawę programową oraz system oceny matur. Przystąpił do matury z języka polskiego w tym samym czasie, co 263 tysięcy „ludzkich” maturzystów. I już wiadomo, że ją zdał. Zajęło mu to około 30 minut.

Źródło: Dziennik

Nie do końca chce mi się wierzyć, że model został wytrenowany na tak małej ilości danych, jaką jest podstawa programowa z języka polskiego. Model mógł być już wcześniej wytrenowany do generowania złożonych wypowiedzi, tylko został potem dodatkowo stuningowany pod maturę. Jak przebiegał trening modelu? Ile osób w tym uczestniczyło? Czy cały proces trenowania został udokumentowany i jest do wglądu, czy tylko 3 nauczycieli zobaczyło efekt końcowy i na tej podstawie możemy powiedzieć, że to robot rozwiązał maturę?

Bez powyższych odpowiedzi ciężko jest poważnie rozmawiać o tym dokonaniu. Ale po co wiedzieć i rozumieć metodykę całego procesu oraz sam model? Przecież bez tych informacji można podnosić okrzyki w artykułach internetowych, że obecna „matura to bzdura”.

Z wielką chęcią zapoznam się z szerszym opisem technicznym Prymusa, jeżeli będzie udostępniony, dlatego proszę o informację, jeżeli ktoś z Was drogie czytelniczki i czytelnicy, taką specyfikację może mi udostępnić.

Uczniowie

Na filmie reklamowym robot rozwiązuje arkusz maturalny z języka polskiego szybko i bezproblemowo, a uczniowie w tym czasie się męczą i denerwują, a na końcu wchodzą na krzesła przy dźwiękach słów „innowacyjność”, „empatia”, „współpraca”, „sprawczość”.

Zastanawiam się, czy pokazywanie, że robot rozwiązuje maturę z polskiego, to zachęcanie do innowacyjności i sprawczości, czy wprowadzanie lęku, poczucia zagubienia i utraty sensu pośród uczniów? Jak ma się czuć młoda osoba, która zobaczy ten film? Jak mają się czuć jej rodzice? Jak nauczyciele? Fakt, że istnieją bezmyślne generatory, które generują treści podobne do tych, które tworzą ludzie, nie sprawia, że uczniom od tego urosną skrzydła, a system edukacji zmieni się na lepsze. Istnieje silna presja rynkowa, żeby system edukacji zmieniał się, ze względu na pojawiające się na nim wynalazki. Jednak to nie korporacje powinny decydować o edukacji, tylko w ramach wspólnego dialogu: nauczyciele, uczniowie i ich rodzice.

Wiem, że wielu osobom i firmom zależy na tym, żeby jak najwięcej na tym strachu i zamieszaniu zarobić, dlatego przekonują, że jedynym słusznym kierunkiem rozwoju są rozwiązania genAI (a co za tym też idzie kursy o tym jak pisać prompty, a nawet generować książki przy użyciu AI). Budowanie poczucia sprawczości na strachu jest kontrproduktywne. Co czai się za myślą o robocie, który pisze maturę? Strach o to, że dokonania, wrażliwość, pomysłowość młodych osób jest bezużyteczna. Złość, że szkoła nie przygotowuje dzieci do konkurowania z wynalazkami z Doliny Krzemowej, w które inwestowane są rocznie miliardy dolarów. „Jeśli maturę jest dziś w stanie zdać AI, to jak powinna zmienić się szkoła?” pytają twórcy kampanii. Zadałbym jednak inne pytanie „Jak ma się zmienić dyskusja wokół AI, żeby ograniczyć wpływ wielkich korporacji technologicznych na systemy edukacji i ludzką twórczość?”

Nauczyciele

W filmie troje nauczycieli przyznaje, że matura Prymusa jest dobrze napisana i że uznaliby, że napisał ją uczeń, gdyby nie wiedzieli, że napisał ją robot. Ciekawy jestem ich pełnej opinii, a nie pojedynczych wycinków z ich wypowiedzi. Montaż tworzy konkretny obraz rzeczywistości, ale nie prezentuje ich pełnej oceny.

Wisienką na torcie w tym filmie są słowa dr Jarosława Wowaka w odniesieniu do wygenerowanej odpowiedzi przez bota: „I to się czuje, że on rzeczywiście to umie”. Pan doktor tymi słowami potwierdził tzw. wrażenie spójności, które czytelnik tworzy w odniesieniu do sztucznie wygenerowanego tekstu – po drugiej stronie nie ma autora, który rozumie czy umie, tylko jest model językowy, więc spójność tekstowi nadaje czytelnik, a nie generator. Pisałem o tym w zeszłym roku (zainteresowanych odsyłam do tekstu).

Czy ten happening zachęci nauczycieli i ich zwierzchników z Ministerstwa Edukacji do zmian w programie edukacji? Czy będą to przemyślane zmiany na lepsze, czy szybkie zmiany wynikające z presji rynkowej?

Teoria i praktyka

Istotą całej kampanii jest rzucenie światła przez fundację Zwolnieni z Teorii na nierównowagę pomiędzy ilością teorii i praktyki w polskich szkołach. Uważam, że jest to ważny wątek i warto o nim rozmawiać. „Marzy nam się szkoła, w której uczniowie współpracują ze sobą. Robią rzeczy w zespołach, robią rzeczy prawdziwe, wychodzą poza mury szkolne. W tym momencie umiejętności miękkie nie są uwzględnione w systemie oceniania.” – mówi w filmie pani Paula Bruszewska, Prezeksa fundacji. Podpisuję się pod tymi słowami, bowiem jest to piękna idea. Zastanawiam się jednak, czy właściwą metodą materializacji tej idei jest pokazywanie, że AI napisze maturę szybciej od młodzieży szkolnej, ponieważ w ten sposób przenosimy ciężar rozmowy z budowania kompetencji miękkich na nierówna grę, którą idzie nam toczyć z wielkim biznesem, na warunkach wielkiego biznesu, a nie na własnych zasadach.

„Od ćwierć wieku możemy w sekundę znaleźć dowolną informację, mimo to dalej spędzamy dwie pierwsze dekady życia, ucząc się w  dużej mierze na pamięć.” (pierwszy akapit listu otwartego). Nie jestem też zwolennikiem tej tezy, bowiem jest ona tylko częściowo prawdziwa...

Być może dowolną informację znajdziemy w sekundę, ale czy znajdziemy informację właściwą i będziemy potrafili ją poddać krytycznej ocenie? Uczenie się na pamięć, to nie tylko trening uważności czy pamięci, ale także przekazywanie młodym ludziom kapitału kulturowego – słowa, pojęcia, zdarzenia historyczne zostają zapamiętane, zanim w przyszłości zostaną zrozumiane czy użyte. Co z tego, że można znaleźć jakąś informację w sekundę? Czy to oznacza, że informacje o świecie powinny być „tylko do odczytu”? A może właśnie powinny być przez nas przyswajane i twórczo przetwarzane w praktyce?

Uważam, że praktyka bez dobrej teorii jest często bezużyteczna, a w niektórych przypadkach niebezpieczna. Teoria i praktyka są jak wdech i wydech. Bez wdechu nie ma wydechu. Umiejętności powinny być rozwijane holistycznie, a w procesie edukacji powinno być zarówno miejsce na teorię, jak i na praktykę, ale także na refleksję. Dyskusja o tym, że teoria jest ważniejsza od praktyki, albo że jest na odwrót, nie ma zbyt wiele sensu. Jeżeli szkoła jest przeładowana teorią, to wprowadzenie do programu wątków praktycznych, to dobry pomysł, ponieważ jedno nie może istnieć bez drugiego.

Ps. Problemy polskiego systemu szkolnictwa

Na koniec chcę tylko podkreślić, że system szkolnictwa, to system złożony, którego nie da się zmienić jedną interwencją, czy apelem. Wynika to z natury systemów złożonych, w których występuje wiele elementów współzależnych i nie jesteśmy w stanie ująć i opisać całego systemu, bowiem system wyłania się wraz z jego poznawaniem. Interwencje w systemach złożonych mają sens, ale nie da się w pełni przewidywać ich skutków. Warto eksperymentować w sposób bezpieczny (safe-to-fail) i sprawdzać, jakie wzorce wyłaniają się w wyniku prowadzonych interwencji. W systemach złożonych nie ma jednak recept, które mogą z góry powiedzieć, że wdrożenie rozwiązania ABC spowoduje oczekiwane efekty XYZ.

Zdjęcie tytułowe stanowi kadr z filmu „Zabierzmy głos i otwórzmy się na zmiany w polskiej szkole!” Źródło