Rozmowa z chatbotem AI w mniej formalnym języku, tak jak robi to wielu ludzi, zmniejsza dokładność jego odpowiedzi – sugerując, że albo musimy być bardziej surowi językowo, korzystając z chatbota, albo że AI musi zostać przeszkolony, aby lepiej dostosować się do nieformalności.
Fulei Zhang i Zhou Yu z Amazonu przyjrzeli się temu, jak ludzie rozpoczynają rozmowy z agentami ludzkimi w porównaniu z asystentem chatbota zasilanym dużym modelem językowym (LLM). Wykorzystali model Claude 3.5 Sonnet do oceny rozmów pod kątem różnych czynników i stwierdzili, że osoby korzystające z chatbotów używały mniej precyzyjnej gramatyki i były mniej uprzejme niż wtedy, gdy zwracały się do ludzi. Używali także nieco węższego zakresu słownictwa.
Na przykład, interakcje międzyludzkie były o 14,5 procent bardziej uprzejme i formalne niż rozmowy z chatbotami, o 5,3 procent bardziej płynne i o 1,4 procent bardziej bogato zróżnicowane leksykalnie, zgodnie z wynikami opartymi na Claude.
Lecz okazało się, że ta nieformalność ma swoją wadę. W drugiej ocenie badacze przeszkolili model AI o nazwie Mistral 7B na 13 000 rzeczywistych rozmów międzyludzkich i użyli go do interpretacji 1357 wiadomości wysłanych do chatbotów AI. Oznaczyli każdą rozmowę w obu zbiorach danych „zamiarem” z ograniczonej listy, podsumowując, co użytkownik próbował zrobić w każdym przypadku. Jednak ponieważ Mistral AI był szkolony na rozmowy międzyludzkie, para odkryła, że AI miał trudności z poprawnym oznaczeniem intencji w rozmowach z chatbotami.
