Colección SciELO Chile

Departamento Gestión de Conocimiento, Monitoreo y Prospección
Consultas o comentarios: productividad@anid.cl
Búsqueda Publicación
Búsqueda por Tema Título, Abstract y Keywords



Large Language Models are biased to overestimate profoundness
Indexado
WoS WOS:001378237101016
DOI
Año 2023
Tipo proceedings paper

Citas Totales

Autores Afiliación Chile

Instituciones Chile

% Participación
Internacional

Autores
Afiliación Extranjera

Instituciones
Extranjeras


Abstract



Recent advancements in natural language processing by large language models (LLMs), such as GPT-4, have been suggested to approach Artificial General Intelligence. And yet, it is still under dispute whether LLMs possess similar reasoning abilities to humans. This study evaluates GPT-4 and various other LLMs in judging the profoundness of mundane, motivational, and pseudo-profound statements. We found a significant statement-to-statement correlation between the LLMs and humans, irrespective of the type of statements and the prompting technique used. However, LLMs systematically overestimate the profoundness of nonsensical statements, with the exception of Tk-instruct, which uniquely underestimates the profoundness of statements. Only few-shot learning prompts, as opposed to chain-of-thought prompting, draw LLMs ratings closer to humans. Furthermore, this work provides insights into the potential biases induced by Reinforcement Learning from Human Feedback (RLHF), inducing an increase in the bias to overestimate the profoundness of statements.

Disciplinas de Investigación



WOS
Sin Disciplinas
Scopus
Sin Disciplinas
SciELO
Sin Disciplinas

Muestra la distribución de disciplinas para esta publicación.

Publicaciones WoS (Ediciones: ISSHP, ISTP, AHCI, SSCI, SCI), Scopus, SciELO Chile.

Colaboración Institucional



Muestra la distribución de colaboración, tanto nacional como extranjera, generada en esta publicación.


Autores - Afiliación



Ord. Autor Género Institución - País
1 Herrera-Berg, Eugenio - Centro Nacional de Inteligencia Artificial (CENIA) - Chile
2 Browne, Tomas Vergara - Centro Nacional de Inteligencia Artificial (CENIA) - Chile
Pontificia Universidad Católica de Chile - Chile
3 Leon-Villagra, Pablo - Brown Univ - Estados Unidos
4 Vives, Marc-Lluis - Leiden Univ - Países Bajos
5 Calderon, Cristian Buc - Centro Nacional de Inteligencia Artificial (CENIA) - Chile
6 Bouamor, H -
7 Pino, J -
8 Bali, K -

Muestra la afiliación y género (detectado) para los co-autores de la publicación.

Financiamiento



Fuente
Centro Nacional de Inteligencia Artificial, CENIA, Basal ANID

Muestra la fuente de financiamiento declarada en la publicación.

Agradecimientos



Agradecimiento
This work was funded by the Centro Nacional de Inteligencia Artificial, CENIA, FB210017, Basal ANID.

Muestra la fuente de financiamiento declarada en la publicación.