Bazowy model językowy

Sztuczna inteligencja zawdzięcza umiejętność władania językiem komponentowi nazywanemu modelem językowym. Jest to wielka sieć neuronowa wytrenowana na tekstach w językach, których chcemy nauczyć model. Potrzebny do tego zbiór tekstów (korpus) liczy dziesiątki miliardów słów.
W czasie treningu próbujemy skłonić model, aby powtórzył to, co mu przed chwilą powiedzieliśmy. Po każdej próbie nagradzamy neurony, które przyłożyły się do wygenerowania właściwych słów na wyjściu – doznają one wyrzutu cyfrowej dopaminy, pęcznieją z dumy i wzmacniają swoje połączenia. Marnieją karcone neurony, które brały udział w generowaniu złych fragmentów odpowiedzi.
Po zapoznaniu się kilkaset razy z całym korpusem treningowym model nabiera umiejętności posługiwania się językiem nie gorzej, niż robi to wielu jego rodzimych użytkowników. Zapamiętując sformułowania, nabiera też wiedzy ogólnej. Nie wie jednak, czym jest prawda, ani jak reagować adekwatnie do intencji użytkownika.

Model dialogowy PLLuM

Na bazie modelu językowego „szkoli się” model dialogowy, potrafiący prowadzić konwersację z użytkownikiem. Gdy użytkownik zadaje pytanie, nie wystarczy rzucić luźne skojarzenie. Model uczy się więc, że użytkownik preferuje odpowiedzi, które są prawdziwe, a nie tylko gramatyczne. Odpowiedź musi także rozwiązywać problem postawiony przez użytkownika. Na tym etapie model uczy się także prowadzenia konwersacji. Te cele wymagają kolejnego długotrwałego treningu.
PLLuM będzie modelem dialogowym, skoncentrowanym na znajomości języka polskiego, polskich realiów społeczno-politycznych i polskiej kultury.

Kompetentny asystent w urzędowej sprawie

W zastosowaniach wymagających specyficznej wiedzy, na przykład z dziedziny administracji publicznej, model dialogowy zestawia się z odpowiednimi bazami wiedzy. Zwykle schemat działania jest następujący. Algorytm wybiera z bazy tekstów z danej dziedziny dokumenty najlepiej pasujące do pytania użytkownika. Następnie model dialogowy pracuje na tych dokumentach i na pytaniu. Posługując się swoją znajomością języka i wiedzą ogólną, wydobywa potrzebne informacje i układa je w spójną odpowiedź.
W projekcie zostanie opracowany przykład takiego wdrożenia modelu PLLuM w postaci wirtualnego asystenta wspierającego w kontaktach z urzędem.