Colección SciELO Chile

Departamento Gestión de Conocimiento, Monitoreo y Prospección
Consultas o comentarios: productividad@anid.cl
Búsqueda Publicación
Búsqueda por Tema Título, Abstract y Keywords



BDS-Analytics: Towards a PySpark Library for a Preliminary Exploratory Big Data Analysis
Indexado
Scopus SCOPUS_ID:105002578774
DOI 10.1007/978-981-96-0235-3_30
Año 2025
Tipo

Citas Totales

Autores Afiliación Chile

Instituciones Chile

% Participación
Internacional

Autores
Afiliación Extranjera

Instituciones
Extranjeras


Abstract



Data observability is the ability of the whole monitoring and understanding of data quality and lineage to identify and address data issues early. This is becoming increasingly important as organizations collect and store more data; also the ingestion process and the data itself become more complex. This paper shows the first iteration of BDS-Analytics, a PySpark library born from the empirical experiences of data engineers and data scientists in projects where BDS S.P.A, a Chilean Big Data Consulting firm, has been working. We present the initial scenario detected in different Big Data initiatives, where data quality and data observability criteria, in addition to the difficulty of their implementation, have been discussed. The proposed library includes PySpark functions that can solve the common requirements of exploratory data analysis and primary data quality, and the potential to add new features or tools for a stronger study of the data. In addition, this research presents a qualitative evaluation that includes surveys with professionals in the area and seeks to evaluate issues such as Effort Estimation, Usability, and Quality. The main contributions of this research are (1) the development of a PySpark library and its key capabilities, and (2) the evaluation process of the library in a real industrial environment.

Métricas Externas



PlumX Altmetric Dimensions

Muestra métricas de impacto externas asociadas a la publicación. Para mayor detalle:

Disciplinas de Investigación



WOS
Sin Disciplinas
Scopus
Computer Science (All)
Decision Sciences (All)
SciELO
Sin Disciplinas

Muestra la distribución de disciplinas para esta publicación.

Publicaciones WoS (Ediciones: ISSHP, ISTP, AHCI, SSCI, SCI), Scopus, SciELO Chile.

Colaboración Institucional



Muestra la distribución de colaboración, tanto nacional como extranjera, generada en esta publicación.


Autores - Afiliación



Ord. Autor Género Institución - País
1 Lagos, Juan - Universidad de La Frontera - Chile
2 San Martin, Daniel - Universidad Técnica Federico Santa María - Chile
3 Aillapán, Gabriel - Universidad de La Frontera - Chile

Muestra la afiliación y género (detectado) para los co-autores de la publicación.

Financiamiento



Fuente
Sin Información

Muestra la fuente de financiamiento declarada en la publicación.

Agradecimientos



Agradecimiento
Sin Información

Muestra la fuente de financiamiento declarada en la publicación.