Dissertation/ Thesis
Usage of Big Data in official statistics
| Τίτλος: | Usage of Big Data in official statistics |
|---|---|
| Συγγραφείς: | Jinugu, Anjaneyulu |
| Συνεισφορές: | University/Department: Universitat Oberta de Catalunya. Internet Interdisciplinary Institute (IN3) |
| Thesis Advisors: | Cobarsí-Morales, Josep, Canals, Agustí |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Oberta de Catalunya, 2025. |
| Έτος έκδοσης: | 2025 |
| Φυσική περιγραφή: | 231 p. |
| Θεματικοί όροι: | fonts de dades tradicionals, fuentes de datos tradicionales, traditional data sources, fonts de dades no tradicionals, fuentes de datos no tradicionales, non-traditional data sources, macrodades, macrodatos, big data, oficines nacionals d’estadística, oficinas nacionales de estadística, national statistical offices, Societat de la Informació i el Coneixement |
| Περιγραφή: | En els darrers anys s’ha generat una enorme quantitat de dades arreu del món gràcies a innovacions com l’ordinador personal (PC), la World Wide Web (WWW), les plataformes de xarxes socials i les tecnologies intel·ligents i emergents. Aquesta afluència de dades generades per aquestes fonts és una nova frontera en l’anomenada revolució de les dades. El format de les dades és majoritàriament no estructurat, i aquestes dades es coneixen habitualment com a big data. Així, el món està inundat de dades i, per això, els líders de les nacions defensen aprofitar els beneficis d’aquestes dades no només per generar estadístiques oficials, sinó també per reduir el pressupost dels països en diversos àmbits. Així doncs, les oficines nacionals d’estadística (NSOs, per les sigles en anglès) ara disposen d’una gran varietat d’opcions per produir estadístiques oficials utilitzant fonts de big data, i alguns països ja les han utilitzat per generar estadístiques oficials. La recerca actual es duu a terme amb l’objectiu d’explorar l’ús de fonts de big data en la generació d’estadístiques oficials. Segons l’objectiu de l’estudi es plantegen cinc preguntes de recerca, que són: 1) quins són els beneficis de les fonts de dades tradicionals (dades del cens, d’enquestes i administratives) i no tradicionals (dades generades per màquines, xarxes socials i internet) a l’hora de generar estadístiques oficials?; 2) quines són les fonts de big data utilitzades per produir estadístiques oficials respecte a les condicions socials, culturals, econòmiques i polítiques vigents?; 3) quines són les tecnologies de big data i el seu abast d’ús per generar estadístiques oficials?; 4) quines són les habilitats necessàries per generar estadístiques oficials utilitzant fonts de big data?, i 5) quins són els punts forts i febles, les oportunitats i les amenaces en l’ús de fonts de big data per generar estadístiques oficials? Les dades de l’estudi actual es recullen mitjançant mètodes de recollida de dades primàries i secundàries. S’utilitza el mètode de recerca de despatx per recollir dades secundàries i les fonts de dades secundàries per a l’estudi són informes publicats, revistes, llibres, internet, etc. S’adopta el mètode principal de recollida de dades d’enquesta per recollir dades de la població objectiu. La població objectiu és la següent: 1) empleats que treballen en NSOs, 2) agències governamentals que produeixen estadístiques oficials, 3) investigadors/acadèmics que treballen en la producció d’estadístiques oficials, i 4) empleats del sector privat implicats en la producció de fonts de big data. S’utilitza la tècnica de mostreig de bola de neu per recollir les dades de la població. S’elabora un qüestionari estructurat amb 26 preguntes en el programari Qualtrics. El qüestionari es comparteix amb els enquestats objectiu entre la tercera setmana del juliol del 2022 i finals de l’octubre del 2022 per correu electrònic. Un total de 193 participants van omplir els qüestionaris, dels quals un total de 145 es van considerar vàlids i complets; per tant, la mida de la mostra de l’estudi és de 145. Les eines SPSS, R, RStudio Desktop i Microsoft Excel s’utilitzen rigorosament per validar, resumir i analitzar les dades. Cada pregunta de recerca s’analitza utilitzant diverses tècniques, com ara mètodes descriptius, visualitzats i estadístics inferencials, segons el tipus de variable. En primer lloc, s’analitza el perfil dels enquestats, a partir del qual es pot concloure que han participat en l’enquesta persones amb una bona educació, altament experimentades i amb habilitats multidisciplinàries. A més, es pot observar que la majoria dels enquestats són de països asiàtics i treballen en organitzacions públiques o són personal d’una NSO. La resposta a l’enquesta ha esdevingut més creïble perquè la majoria dels enquestats provenen del sector de la informació i la comunicació, de sectors relacionats amb activitats professionals, científiques i tècniques, o de sectors educatius. Amb les respostes basades en l’evidència proporcionades pels enquestats, l’estudi podria establir que les fonts de big data tenen el potencial de generar estadístiques oficials i que aquests coneixements estan alineats amb el treball de diversos acadèmics. A més, es va inferir de l’estudi que l’ús de fonts de dades no tradicionals pot comportar múltiples beneficis en comparació amb les fonts de dades tradicionals. Els enquestats prefereixen els beneficis següents de les fonts de dades no tradicionals: 1) superar dificultats de recollida de dades (74%); 2) disponibilitat de dades en temps real (80%); 3) rendibilitat (72%), i 4) reducció de la càrrega dels enquestats (77%). A més, també s’observa que els patrons de puntuació de tots els beneficis de les fonts de dades no tradicionals són diferents entre els enquestats menys experimentats i els més experimentats. En conseqüència, les NSOs van recomanar aprofitar aquests beneficis per generar estadístiques oficials utilitzant fonts de big data. En contrast amb el resultat habitual de la literatura, el benefici de consistència de les dades (70%) és el preferit de les fonts de dades tradicionals. Per tant, es recomanen futures investigacions en aquest àmbit per entendre la dinàmica que dicta la percepció dels usuaris respecte a la consistència de les dades en fonts de dades no tradicionals. De l’estudi també es podria inferir que més de la meitat dels països utilitzen fonts de dades tant tradicionals com no tradicionals per generar les seves estadístiques per als països i, per tant, és igualment important aclarir les raons per les quals la proporció restant va endarrerida. A més, també s’entén, a partir de l’estudi, que aproximadament un terç dels enquestats han utilitzat fonts de big data per generar estadístiques oficials i que al voltant de la meitat (48%) coneix les fonts de big data per generar estadístiques oficials. És optimista observar que, entre les fonts de big data utilitzades, les tres fonts de big data més ben valorades són: 1) les dades de localització de telèfons mòbils, que s’utilitzen per produir mobilitat poblacional, estadístiques TIC i dades per a indicadors d’ODS; 2) les dades d’imatges per satèl·lit, que s’utilitzen per produir estadístiques de rendiment de cultius i dades del cens agrícola, i 3) les dades d’escàner, que s’utilitzen per generar IPC, així com dades per als indicadors ODS. A més, quatre de cada cinc enquestats van mencionar que col·laboren amb organitzacions per produir estadístiques utilitzant fonts de big data. Malgrat això, l’estudi també va establir que algunes de les raons per no utilitzar fonts de big data són: 1) la manca de recursos humans qualificats i 2) l’absència de lleis, polítiques, estàndards i procediments per accedir a les dades dels productors de big data. L’estudi podria demostrar que R, Python i Hadoop són els tres programes principals utilitzats pels enquestats per generar estadístiques oficials a partir de fonts de big data. A més, molts països utilitzen R per generar estadístiques oficials com l’IPC, el cens agrícola i dades de despesa sanitària; Python s’utilitza per produir dades de rendiment de cultius, CPI i estadístiques de trànsit, mentre que l’eina Hadoop s’utilitza per generar estadístiques d’atur, dades de turisme i estadístiques d’ingressos/despeses domèstics. L’estudi també podria afirmar estadísticament que hi ha una associació significativa entre l’ús de les eines d’analítica R, Python i Hadoop i la variable sociodemogràfica, pel tipus d’organitzacions per a les quals treballen els enquestats. Amb l’evidència adequada, el treball de recerca confirma que les habilitats més ben valorades que es requereixen per generar estadístiques oficials utilitzant fonts de big data són: 1) habilitats de modelatge estadístic/matemàtic, 2) habilitats relacionades amb la ciència de dades, i 3) experiència en tecnologies de big data. El treball de recerca també confirma estadísticament que el patró de puntuació per a les habilitats —modelatge estadístic/matemàtic i experiència en tecnologies de big data— és diferent entre els enquestats menys experimentats i els més experimentats. A més, el patró de puntuació és diferent entre els enquestats de nivell júnior i els participants de nivell sènior pel que fa a les habilitats esmentades anteriorment. Es fa una anàlisi profunda per explorar els coneixements sobre l’ús de fonts de big data en la generació d’estadístiques oficials. S’executa una anàlisi SWOT per fer-ho, basant-se en la qual l’estudi podria concloure el següent: 1) Punts forts. Els factors més valorats segons les fortaleses de l’ús de fonts de big data per generar estadístiques oficials són: a) produir estadístiques en temps real, b) reduir el cost de recollida de dades i c) minimitzar la càrrega dels enquestats. La probabilitat de seleccionar el factor “produir estadístiques en temps real” com la fortalesa màxima per generar estadístiques oficials és de 0,4. 2) Debilitats. Els factors principals que es van considerar com a debilitats de l’ús de les fonts de big data són: a) absència de lleis per accedir a les dades dels grups d’interès, b) qüestions metodològiques i c) manca de recursos qualificats. A més, la probabilitat de seleccionar el factor “absència de lleis” per accedir a les dades, com a principal debilitat per generar estadístiques oficials, és de 0,3. 3) Oportunitats. Les oportunitats més valorades per a l’ús de fonts de big data són: a) disponibilitat oportuna de dades per a indicadors nacionals i internacionals (per exemple, ODS) i b) capacitat per substituir fonts de dades tradicionals. A més, la probabilitat de seleccionar el factor “disponibilitat oportuna de dades per a indicadors nacionals i internacionals”, com a oportunitat preferida per generar estadístiques oficials, és de 0,37. 4) Amenaces. Les amenaces més valorades per les fonts de big data a l’hora de generar estadístiques oficials són: a) la possibilitat de danys a la reputació o a la confiança pública i b) la resistència dels proveïdors de big data. A més, el factor de possibilitat “dany a la reputació o a la confiança pública” és el primer, amb un valor de probabilitat de 0,34. A partir de l’anàlisi, el treball de recerca va proposar les recomanacions següents tant a les NSO com als responsables polítics per millorar l’ús de fonts de big data en la producció d’estadístiques oficials: 1) els països haurien de desenvolupar programes i iniciatives per abordar les mancances de coneixement respecte a l’ús de fonts de dades no tradicionals; 2) les nacions haurien de dur a terme estudis per explorar les raons del baix ús de fonts de dades no tradicionals i per abordar els factors causals d’una manera efectiva des del nivell de base; 3) s’haurien d’encarregar estudis longitudinals específics per regió per monitorar el nivell de desenvolupament que s’ha produït en diverses regions, de tant en tant; 4) caldria elaborar protocols estrictes de gestió de big data i procediments operatius estàndard (SOP) per utilitzar fonts de big data per generar estadístiques oficials; 5) s’hauria de promulgar legislació per accedir al big data dels productors i protegir-lo, així com desenvolupar aplicacions estadístiques avançades per superar els reptes metodològics i reclutar recursos multidisciplinaris qualificats per millorar el nivell d’expertesa estadística del personal; 6) cal desenvolupar estratègies estrictes per millorar la col·laboració entre els actors del big data i generar desagregació de dades per crear polítiques a nivell de base; 7) s’haurien d’elaborar mètodes estadístics rigorosos per desenvolupar estadístiques precises i redactar polítiques per facilitar l’accés a les grans bases de dades; 8) s’ha d’animar les organitzacions basades en dades i els pioners del mercat de big data a organitzar tallers per explorar metodologies adequades específiques de cada país, juntament amb programes de formació destinats a aconseguir una situació en què tothom guanyi, i, finalment, 9) cal desenvolupar una plataforma centralitzada basada en el coneixement per emmagatzemar-hi i mantenir-hi iniciatives específiques d’acadèmics i bones pràctiques per regió en el tractament de fonts de big data per generar estadístiques oficials. |
| Description (Translated): | En los últimos años se ha generado una enorme cantidad de datos en todo el mundo gracias a innovaciones como el ordenador personal (PC), la World Wide Web (WWW), las plataformas de redes sociales y las tecnologías inteligentes y emergentes. Esa afluencia de datos generados por estas fuentes supone una nueva frontera en la denominada revolución de los datos. El formato de estos datos es, en su mayoría, no estructurado, por lo que comúnmente se denominan big data o macrodatos. Así, el mundo se inunda de datos y por ese motivo los líderes de los países abogan por aprovechar los beneficios de esos datos no solo para generar estadísticas oficiales, sino también para reducir el presupuesto de los países en diversos frentes. Por eso, las oficinas nacionales de estadística (NSO, por sus siglas en inglés) ahora disponen de una gran variedad de opciones para producir estadísticas oficiales utilizando fuentes de big data y algunos países ya las han utilizado para generar estadísticas oficiales. La presente investigación se lleva a cabo con el objetivo de explorar el uso de fuentes de big data en la generación de estadísticas oficiales. Se formulan cinco preguntas de investigación en función del objetivo del estudio, y son: 1) ¿cuáles son los beneficios de las fuentes de datos tradicionales (datos del censo, encuestas y administrativas) y no tradicionales (datos generados por máquinas, redes sociales e internet) para generar estadísticas oficiales? 2) ¿cuáles son las fuentes de big data utilizadas para producir estadísticas oficiales respecto a las condiciones sociales, culturales, económicas y políticas predominantes?; 3) ¿cuáles son las tecnologías de big data y su alcance de uso para generar estadísticas oficiales?; 4) ¿cuáles son las habilidades necesarias para generar estadísticas oficiales utilizando fuentes de big data?, y 5) ¿cuáles son las fortalezas, debilidades, oportunidades y amenazas al utilizar las fuentes de big data para generar estadísticas oficiales? Los datos del estudio actual se recogen mediante métodos de recogida de datos primarios y secundarios. Se emplea el método de investigación de escritorio para recopilar los datos secundarios y las fuentes de datos secundarias para el estudio son informes publicados, revistas, libros, internet, etc. Se adopta el método principal de recogida de datos de encuestas para recoger datos de la población objetivo. La población objetivo es la siguiente: 1) empleados que trabajan en NSO, 2) agencias gubernamentales que producen estadísticas oficiales, 3) investigadores/académicos que trabajan en la elaboración de estadísticas oficiales, y 4) empleados del sector privado implicados en la producción de fuentes de big data. Se utiliza la técnica de muestreo bola de nieve para recopilar los datos de la población. Se desarrolla un cuestionario estructurado con 26 preguntas en el software de Qualtrics. El cuestionario se comparte con los encuestados objetivo entre la tercera semana de julio del 2022 y finales de octubre del 2022 por correo electrónico. Un total de 193 participantes completaron los cuestionarios, de los cuales 145 se consideraron válidos y completos, por lo que el tamaño de la muestra del estudio es de 145. Las herramientas SPSS, R, RStudio Desktop y Microsoft Excel se utilizan rigurosamente para validar, resumir y analizar los datos. Cada pregunta de investigación se analiza utilizando técnicas como métodos descriptivos, de visualización y estadísticos inferenciales, dependiendo del tipo de variable. En primer lugar, se analiza el perfil de los encuestados, a partir del cual se puede concluir que han participado en la encuesta personas con una buena formación, altamente experimentadas y multidisciplinares. Además, se observa que la mayoría de los encuestados proceden de países asiáticos y trabajan en organizaciones públicas o son personal de una NSO. La respuesta a la encuesta se ha vuelto más creíble porque la mayoría de los encuestados pertenecen al sector de la información y la comunicación, a sectores profesionales, científicos y técnicos o al sector educativo. Con las respuestas basadas en la evidencia proporcionadas por los encuestados, el estudio podría establecer que las fuentes de big data tienen el potencial de generar estadísticas oficiales y que estos conocimientos están alineados con el trabajo de varios académicos. Además, se infirió del estudio que el uso de fuentes de datos no tradicionales puede aportar múltiples beneficios en comparación con las fuentes de datos tradicionales. Los encuestados prefieren los siguientes beneficios para fuentes de datos no tradicionales: 1) superar dificultades de recogida de datos (74%); 2) disponibilidad de datos en tiempo real (80%); 3) rentabilidad (72%), y 4) reducción de la carga de los encuestados (77%). Además, también se observa que los patrones de puntuación de todos los beneficios de las fuentes de datos no tradicionales son diferentes entre los encuestados menos experimentados y los más experimentados. Por ello, las NSO recomendaron aprovechar estos beneficios para generar estadísticas oficiales utilizando fuentes de big data. En contraste con el resultado habitual de la literatura, el beneficio de la consistencia de los datos (70%) es el preferido en las fuentes tradicionales de datos. Por ello, se recomienda realizar futuros trabajos de investigación en esta área para comprender la dinámica que dicta la percepción de los usuarios respecto a la consistencia de los datos en fuentes no tradicionales. El estudio también podría inferir que más de la mitad de los países utilizan tanto fuentes de datos tradicionales como no tradicionales para generar sus estadísticas nacionales, por lo que es igualmente importante arrojar luz sobre las razones por las que la proporción restante ha quedado retrasada. Además, también se entiende por el estudio que alrededor de un tercio de los encuestados ha utilizado fuentes de big data para generar estadísticas oficiales y alrededor de la mitad (48%) de los encuestados conoce las fuentes de big data para generar estadísticas oficiales. Es optimista observar que, entre las fuentes de big data utilizadas, las tres fuentes de big data mejor valoradas son: 1) los datos de localización de teléfonos móviles, que se utilizan para producir movilidad poblacional, estadísticas TIC y datos para indicadores ODS; 2) los datos de imágenes por satélite, que se utilizan para producir estadísticas de rendimiento de cultivos y datos de censos agrícolas, y 3) los datos de escáner, que se utilizan para generar CPI, así como datos para indicadores ODS. Además, cuatro de cada cinco encuestados mencionaron colaborar con organizaciones para producir estadísticas utilizando fuentes de big data. No obstante, el estudio también estableció que algunas de las razones para no utilizar fuentes de big data son: 1) la falta de recursos humanos cualificados y 2) la ausencia de leyes, políticas, estándares y procedimientos para acceder a los datos de los productores de big data. El estudio podría demostrar que R, Python y Hadoop son los tres programas principales utilizados por los encuestados para generar estadísticas oficiales a partir de fuentes de big data. Además, R está siendo utilizado por muchos países para generar estadísticas oficiales como el IPC, el censo agrícola y datos de gasto sanitario; Python se utiliza para producir datos de rendimiento de cultivos, CPI y estadísticas de tráfico, mientras que la herramienta Hadoop se utiliza para generar estadísticas de desempleo, datos turísticos y estadísticas de ingresos/gastos familiares. El estudio también podría afirmar estadísticamente que existe una asociación significativa entre el uso de las herramientas analíticas R, Python y Hadoop y la variable sociodemográfica, por el tipo de organizaciones para las que trabajan los encuestados. Con la evidencia adecuada, el trabajo de investigación confirma que las habilidades más valoradas necesarias para generar estadísticas oficiales utilizando fuentes de big data son: 1) habilidades de modelado estadístico/matemático, 2) habilidades relacionadas con la ciencia de datos, y 3) experiencia en tecnologías de big data. El trabajo de investigación también confirma estadísticamente que el patrón de puntuación de las habilidades —modelado estadístico/matemático y experiencia en tecnologías de big data— es diferente entre los encuestados menos experimentados y los más experimentados. Además, el patrón de puntuación es diferente entre los encuestados de nivel junior y los participantes de nivel senior en cuanto a las habilidades mencionadas anteriormente. Se realiza una investigación profunda para explorar los conocimientos en el uso de fuentes de big data en la generación de estadísticas oficiales. Para ello se lleva a cabo un análisis SWOT, basándose en el cual el estudio podría concluir lo siguiente: 1) Fortalezas. Los factores más valorados según las fortalezas del uso de fuentes de big data para generar estadísticas oficiales son: a) producir estadísticas en tiempo real, b) reducir el coste de recogida de datos y c) minimizar la carga de los encuestados. La probabilidad de seleccionar el factor “producir estadísticas en tiempo real” como la máxima fortaleza para generar estadísticas oficiales es de 0,4. 2) Debilidades. Los factores más destacados que se consideran debilidades en el uso de las fuentes de big data son: a) ausencia de leyes para acceder a los datos de los grupos de interés, b) problemas metodológicos y c) falta de recursos cualificados. Además, se observa que la probabilidad de seleccionar el factor “ausencia de leyes para acceder a los datos” como la principal debilidad para generar estadísticas oficiales es de 0,3. 3) Oportunidades. Las oportunidades más valoradas en el uso de las fuentes de big data son: a) disponibilidad oportuna de datos para indicadores nacionales e internacionales (por ejemplo, ODS) y b) capacidad para reemplazar fuentes de datos tradicionales. Además, la probabilidad de seleccionar el factor “disponibilidad oportuna de datos para indicadores nacionales e internacionales” como la oportunidad preferida para generar estadísticas oficiales es de 0,37. 4) Amenazas. Las principales amenazas de las fuentes de big data para generar estadísticas oficiales son: a) la posibilidad de daño a la reputación o a la confianza pública y b) la resistencia de los proveedores de big data. Además, el factor “posibilidad de daño a la reputación o a la confianza pública” es el primero, con un valor de probabilidad de 0,34. A partir de este análisis, el trabajo de investigación propuso las siguientes recomendaciones tanto a las NSO como a los responsables políticos para mejorar el uso de las fuentes de big data en la elaboración de estadísticas oficiales: 1) los países deben desarrollar programas e iniciativas para abordar las brechas de conocimiento respecto al uso de fuentes de datos no tradicionales; 2) las naciones deberían realizar estudios para explorar las razones del bajo uso de fuentes de datos no tradicionales y abordar eficazmente los factores causales desde la base; 3) se deben encargar estudios longitudinales específicos de cada región para monitorizar el nivel de desarrollo que ha tenido lugar en varias regiones de forma periódica; 4) hay que desarrollar protocolos estrictos de gestión de big data y procedimientos operativos estándar (SOP) para utilizar fuentes de big data y generar estadísticas oficiales; 5) es necesario promulgar una legislación para acceder al big data de los productores y protegerlo, desarrollar aplicaciones estadísticas avanzadas para superar los desafíos metodológicos y reclutar recursos multidisciplinares especializados para mejorar el nivel de experiencia estadística del personal; 6) deben desarrollarse estrategias estrictas para mejorar la colaboración entre los actores del big data y generar desagregación de datos para desarrollar políticas a nivel de base; 7) hay que elaborar métodos estadísticos rigurosos para desarrollar estadísticas precisas y redactar políticas que faciliten el acceso al big data; 8) debe animarse a las organizaciones basadas en datos y a los pioneros del mercado de big data a organizar talleres para explorar metodologías específicas de cada país junto con programas de formación orientados a lograr una situación beneficiosa para todos, y, finalmente, 9) es necesario desarrollar una plataforma centralizada basada en el conocimiento para almacenar y mantener iniciativas específicas de académicos y mejores prácticas concretas de cada región en el manejo de fuentes de big data para generar estadísticas oficiales. In the last few years, an enormous amount of data has been generated across the world through innovations such as the personal computer (PC), World Wide Web (WWW), social media platforms, and smart and emerging technologies. This influx of data generated from these sources represents a new frontier in the ‘Data Revolution.’ The format of this data is mostly unstructured, and it is commonly referred to as ‘Big Data.’ Thus, the globe is flooded by data, and hence the leaders of the nations advocate tapping the benefits of this data, not only to generate official statistics, but also to reduce countries’ budgets on various fronts. So, National Statistical Offices (NSOs) now have a plethora of choices to produce official statistics using big data sources, and some countries have already utilized them to generate official statistics. The current research is conducted with the aim to explore the usage of big data sources in generating official statistics. Five research questions are framed based on the aim of the study and they are 1) what are the benefits of traditional (census, survey, and administrative data) and non-traditional (data generated from machines, social media, and the internet) data sources in generating official statistics?; 2) what are the big data sources used to produce official statistics with respect to the prevailing social, cultural, economic, and political conditions?; 3) what are the various big data technologies and their extent of usage in generating official statistics?; 4) what are the skills required to generate official statistics using big data sources?; and 5) what are the strengths and weaknesses, and opportunities and threats in using big data sources to generate official statistics? The data for the current study is collected through primary and secondary data collection methods. The desk research method is employed to collect the secondary data, and the secondary data sources for the study are published reports, journals, books, the internet, etc. A primary survey data collection method is adopted to collect data from the target population. The targeted population are 1) employees working in NSOs, 2) government agencies producing official statistics, 3) researchers/academics working on producing official statistics, and 4) private sector employees involved in producing big data sources. A snowball sampling technique is deployed to collect the data from the population. A structured questionnaire with 26 questions is developed in Qualtrics software. The questionnaire is shared with the targeted respondents between the third week of July 2022 and the end of October 2022 through email. A total of 193 participants filled out the questionnaire, out of which a total of 145 questionnaires are found to be valid and complete. Hence, the sample size of the study is 145. SPSS, R, RStudio Desktop, and Microsoft Excel (MS Excel) tools are rigorously used to validate, summarize, and analyze the data. Each research question is analyzed using various techniques, including descriptive, visualization, and inferential statistical methods, depending on the type of variable. Firstly, the respondent’s profile is analyzed, from which it can be concluded that well-educated, highly experienced, and multi-disciplinary skilled people have participated in the survey. Furthermore, it can be observed that most of the respondents are from Asian countries and either working in public organizations or NSOs. The responses to the survey are more credible as the majority of respondents are from the information and communication or education sectors or professional, scientific, and technical backgrounds With the evidence-based responses provided by the respondents, the study could establish that big data sources have the potential to generate official statistics, and these insights are aligned with the work of various scholars. In addition, it was inferred from the study that the usage of non-traditional data sources can result in multiple benefits as against the traditional data sources. The following benefits are preferred by the respondents for non-traditional data sources: 1) overcome data collection difficulties (74%); 2) availability of real-time data (80%); 3) cost effectiveness (72%); and 4) reduction of respondent burden (77%). Further to this, it is also observed that scoring patterns for all the benefits of non-traditional data sources are different between less experienced and experienced respondents. Accordingly, NSOs recommended tapping these benefits to generate official statistics using big data sources. In contrast to the regular outcome of the literature, the benefit of consistency of data (70%) is more preferred for traditional data sources. Therefore, future research work in this area is advocated to understand the dynamics that are dictating the perception of users regarding consistency of data for non-traditional data sources. The study could also infer that more than half of the countries use both traditional and non-traditional data sources to generate their country’s statistics, and thus it is equally important to throw light on the reasons as to why the remaining proportion are lagging behind. Besides, it is also understood from the study that around a third of the respondents have used big data sources to generate official statistics, and around half (48%) of the respondents are aware of big data sources in generating official statistics. It is optimistic to observe that among the big data sources used, the three topmost rated big data sources are: 1) mobile phone location data, which is used to produce population mobility, ICT statistics, and data for SDG indicators; 2) satellite imagery data, which is used to produce crop yield statistics and agriculture census data; and 3) scanner data, which is used to generate CPI as well as data for SDG indicators. In addition, four out of five respondents mentioned that they collaborate with organizations to produce statistics using big data sources. Notwithstanding this, the study also established that some of the reasons for not using big data sources are 1) lack of skilled human resources and 2) absence of laws, policies, standards, and procedures to access data from big data producers. The study found that R, Python and Hadoop are the top three software used by the respondents to generate official statistics from big data sources. Moreover, R is being used by many countries to generate official statistics such as CPI, agriculture censuses, and healthcare expenditure data; Python is being used to produce crop yield data, CPI, and traffic statistics; whereas, Hadoop is being used to generate unemployment statistics, tourism data, and household income/expenditure statistics. The study also could statistically affirm that there is a significant association between the usage of analytics tools R, Python, and Hadoop, the socio-demographic variable, and the type of organizations that the respondents are working for. With the evidence, the research work confirms that the topmost rated skills that are required to generate official statistics using big data sources are 1) statistical/mathematical modeling skills, 2) data science-related skills, and 3) experience in big data technologies. The research work also statistically confirms that the scoring pattern for the statistical/mathematical modeling skills, and experience in big data technologies is different between less experienced and highly experienced respondents. In addition, the scoring pattern is different between junior-level respondents and senior-level participants for the above-mentioned skills. A deep dive is performed to explore the insights in usage of big data sources in generating official statistics. SWOT analysis is executed for doing so, based on which the study could conclude that: 1) Strengths: The most factors rated for strengths of big data source usage for generating official statistics are 1) produce real-time statistics, 2) reduce data collection cost, and 3) minimize respondent burden. The probability of selecting the factor of produce real-time statistics as the top strength for generating official statistics is found to be 0.4. 2) Weaknesses: The topmost factors selected as weaknesses of big data source usages are 1) absence of laws to access data from stakeholders, 2) methodological issues, and 3) lack of skilled resources. The probability of selecting the factor of absence of laws to access the data as the top weakness for generating official statistics is observed to be 0.3. 3) Opportunities: The most rated opportunities of big data source usages are 1) timely availability of data for national and international indicators (e.g., SDG), and 2) ability to replace traditional data sources. The probability of selecting the factor of timely availability of data for national and international indicators as the most preferred opportunity for generating official statistics is found to be 0.37. 4) Threats: The top-ranked threats of big data sources in generating official statistics are 1) possibility of damage to reputation or public trust, and 2) resistance from big data providers. The factor of the possibility of damage to reputation or public trust is top-ranked with a probability value of 0.34. Based on the analysis, the research work proposed the following recommendations to NSOs and policymakers to improve the usage of big data sources in producing official statistics: 1) countries should develop programs and initiatives to address knowledge gaps with respect to usage of non-traditional data sources; 2) nations should conduct studies to explore the reasons for the low usage of non-traditional data sources and to address causal factors effectively from the grassroot level; 3) region-specific longitudinal studies should be commissioned to monitor the level of development that took place in various regions from time to time; 4) develop stringent big data management protocols and Standard Operating Procedures (SOP) to use big data sources for generating official statistics; 5) enact legislation to access and secure the big data from producers, develop advanced statistical applications to overcome the methodological challenges, and recruiting multidisciplinary skilled resources to enhance level of statistical expertise of the staff; 6) develop stringent strategies for enhancement of collaboration among big data stakeholders and to generate disaggregation of data for developing policies at grassroot level; 7) develop rigorous statistical methods to produce accurate statistics, and draft policies for facilitating ease of big data access; 8) encourage data-driven organizations and big data market pioneers to organize workshops to explore suitable country-specific methodologies along with training programs that are aimed to achieve a win-win situation; and finally 9) develop a centralized knowledge-based platform to store and maintain specific initiatives of scholars and region-specific best practices in dealing with big data sources for generating official statistics. Societat de la informació i el coneixement |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | English |
| Σύνδεσμος πρόσβασης: | https://hdl.handle.net/10803/697747 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/ |
| Αριθμός Καταχώρησης: | edstdx.10803.697747 |
| Βάση Δεδομένων: | TDX |
| FullText | Text: Availability: 0 CustomLinks: – Url: https://hdl.handle.net/10803/697747# Name: EDS - TDX (ns324271) Category: fullText Text: View record in TDX |
|---|---|
| Header | DbId: edstdx DbLabel: TDX An: edstdx.10803.697747 RelevancyScore: 1406 AccessLevel: 3 PubType: Dissertation/ Thesis PubTypeId: dissertation PreciseRelevancyScore: 1405.67761230469 |
| IllustrationInfo | |
| Items | – Name: Title Label: Title Group: Ti Data: Usage of Big Data in official statistics – Name: Author Label: Authors Group: Au Data: <searchLink fieldCode="AR" term="%22Jinugu%2C+Anjaneyulu%22">Jinugu, Anjaneyulu</searchLink> – Name: Author Label: Contributors Group: Au Data: University/Department: Universitat Oberta de Catalunya. Internet Interdisciplinary Institute (IN3) – Name: Author Label: Thesis Advisors Group: Au Data: Cobarsí-Morales, Josep<br />Canals, Agustí – Name: TitleSource Label: Source Group: Src Data: TDX (Tesis Doctorals en Xarxa) – Name: Publisher Label: Publisher Information Group: PubInfo Data: Universitat Oberta de Catalunya, 2025. – Name: DatePubCY Label: Publication Year Group: Date Data: 2025 – Name: PhysDesc Label: Physical Description Group: PhysDesc Data: 231 p. – Name: Subject Label: Subject Terms Group: Su Data: <searchLink fieldCode="DE" term="%22fonts+de+dades+tradicionals%22">fonts de dades tradicionals</searchLink><br /><searchLink fieldCode="DE" term="%22fuentes+de+datos+tradicionales%22">fuentes de datos tradicionales</searchLink><br /><searchLink fieldCode="DE" term="%22traditional+data+sources%22">traditional data sources</searchLink><br /><searchLink fieldCode="DE" term="%22fonts+de+dades+no+tradicionals%22">fonts de dades no tradicionals</searchLink><br /><searchLink fieldCode="DE" term="%22fuentes+de+datos+no+tradicionales%22">fuentes de datos no tradicionales</searchLink><br /><searchLink fieldCode="DE" term="%22non-traditional+data+sources%22">non-traditional data sources</searchLink><br /><searchLink fieldCode="DE" term="%22macrodades%22">macrodades</searchLink><br /><searchLink fieldCode="DE" term="%22macrodatos%22">macrodatos</searchLink><br /><searchLink fieldCode="DE" term="%22big+data%22">big data</searchLink><br /><searchLink fieldCode="DE" term="%22oficines+nacionals+d%27estadística%22">oficines nacionals d’estadística</searchLink><br /><searchLink fieldCode="DE" term="%22oficinas+nacionales+de+estadística%22">oficinas nacionales de estadística</searchLink><br /><searchLink fieldCode="DE" term="%22national+statistical+offices%22">national statistical offices</searchLink><br /><searchLink fieldCode="DE" term="%22Societat+de+la+Informació+i+el+Coneixement%22">Societat de la Informació i el Coneixement</searchLink> – Name: Abstract Label: Description Group: Ab Data: En els darrers anys s’ha generat una enorme quantitat de dades arreu del món gràcies a innovacions com l’ordinador personal (PC), la World Wide Web (WWW), les plataformes de xarxes socials i les tecnologies intel·ligents i emergents. Aquesta afluència de dades generades per aquestes fonts és una nova frontera en l’anomenada revolució de les dades. El format de les dades és majoritàriament no estructurat, i aquestes dades es coneixen habitualment com a big data. Així, el món està inundat de dades i, per això, els líders de les nacions defensen aprofitar els beneficis d’aquestes dades no només per generar estadístiques oficials, sinó també per reduir el pressupost dels països en diversos àmbits. Així doncs, les oficines nacionals d’estadística (NSOs, per les sigles en anglès) ara disposen d’una gran varietat d’opcions per produir estadístiques oficials utilitzant fonts de big data, i alguns països ja les han utilitzat per generar estadístiques oficials. La recerca actual es duu a terme amb l’objectiu d’explorar l’ús de fonts de big data en la generació d’estadístiques oficials. Segons l’objectiu de l’estudi es plantegen cinc preguntes de recerca, que són: 1) quins són els beneficis de les fonts de dades tradicionals (dades del cens, d’enquestes i administratives) i no tradicionals (dades generades per màquines, xarxes socials i internet) a l’hora de generar estadístiques oficials?; 2) quines són les fonts de big data utilitzades per produir estadístiques oficials respecte a les condicions socials, culturals, econòmiques i polítiques vigents?; 3) quines són les tecnologies de big data i el seu abast d’ús per generar estadístiques oficials?; 4) quines són les habilitats necessàries per generar estadístiques oficials utilitzant fonts de big data?, i 5) quins són els punts forts i febles, les oportunitats i les amenaces en l’ús de fonts de big data per generar estadístiques oficials? Les dades de l’estudi actual es recullen mitjançant mètodes de recollida de dades primàries i secundàries. S’utilitza el mètode de recerca de despatx per recollir dades secundàries i les fonts de dades secundàries per a l’estudi són informes publicats, revistes, llibres, internet, etc. S’adopta el mètode principal de recollida de dades d’enquesta per recollir dades de la població objectiu. La població objectiu és la següent: 1) empleats que treballen en NSOs, 2) agències governamentals que produeixen estadístiques oficials, 3) investigadors/acadèmics que treballen en la producció d’estadístiques oficials, i 4) empleats del sector privat implicats en la producció de fonts de big data. S’utilitza la tècnica de mostreig de bola de neu per recollir les dades de la població. S’elabora un qüestionari estructurat amb 26 preguntes en el programari Qualtrics. El qüestionari es comparteix amb els enquestats objectiu entre la tercera setmana del juliol del 2022 i finals de l’octubre del 2022 per correu electrònic. Un total de 193 participants van omplir els qüestionaris, dels quals un total de 145 es van considerar vàlids i complets; per tant, la mida de la mostra de l’estudi és de 145. Les eines SPSS, R, RStudio Desktop i Microsoft Excel s’utilitzen rigorosament per validar, resumir i analitzar les dades. Cada pregunta de recerca s’analitza utilitzant diverses tècniques, com ara mètodes descriptius, visualitzats i estadístics inferencials, segons el tipus de variable. En primer lloc, s’analitza el perfil dels enquestats, a partir del qual es pot concloure que han participat en l’enquesta persones amb una bona educació, altament experimentades i amb habilitats multidisciplinàries. A més, es pot observar que la majoria dels enquestats són de països asiàtics i treballen en organitzacions públiques o són personal d’una NSO. La resposta a l’enquesta ha esdevingut més creïble perquè la majoria dels enquestats provenen del sector de la informació i la comunicació, de sectors relacionats amb activitats professionals, científiques i tècniques, o de sectors educatius. Amb les respostes basades en l’evidència proporcionades pels enquestats, l’estudi podria establir que les fonts de big data tenen el potencial de generar estadístiques oficials i que aquests coneixements estan alineats amb el treball de diversos acadèmics. A més, es va inferir de l’estudi que l’ús de fonts de dades no tradicionals pot comportar múltiples beneficis en comparació amb les fonts de dades tradicionals. Els enquestats prefereixen els beneficis següents de les fonts de dades no tradicionals: 1) superar dificultats de recollida de dades (74%); 2) disponibilitat de dades en temps real (80%); 3) rendibilitat (72%), i 4) reducció de la càrrega dels enquestats (77%). A més, també s’observa que els patrons de puntuació de tots els beneficis de les fonts de dades no tradicionals són diferents entre els enquestats menys experimentats i els més experimentats. En conseqüència, les NSOs van recomanar aprofitar aquests beneficis per generar estadístiques oficials utilitzant fonts de big data. En contrast amb el resultat habitual de la literatura, el benefici de consistència de les dades (70%) és el preferit de les fonts de dades tradicionals. Per tant, es recomanen futures investigacions en aquest àmbit per entendre la dinàmica que dicta la percepció dels usuaris respecte a la consistència de les dades en fonts de dades no tradicionals. De l’estudi també es podria inferir que més de la meitat dels països utilitzen fonts de dades tant tradicionals com no tradicionals per generar les seves estadístiques per als països i, per tant, és igualment important aclarir les raons per les quals la proporció restant va endarrerida. A més, també s’entén, a partir de l’estudi, que aproximadament un terç dels enquestats han utilitzat fonts de big data per generar estadístiques oficials i que al voltant de la meitat (48%) coneix les fonts de big data per generar estadístiques oficials. És optimista observar que, entre les fonts de big data utilitzades, les tres fonts de big data més ben valorades són: 1) les dades de localització de telèfons mòbils, que s’utilitzen per produir mobilitat poblacional, estadístiques TIC i dades per a indicadors d’ODS; 2) les dades d’imatges per satèl·lit, que s’utilitzen per produir estadístiques de rendiment de cultius i dades del cens agrícola, i 3) les dades d’escàner, que s’utilitzen per generar IPC, així com dades per als indicadors ODS. A més, quatre de cada cinc enquestats van mencionar que col·laboren amb organitzacions per produir estadístiques utilitzant fonts de big data. Malgrat això, l’estudi també va establir que algunes de les raons per no utilitzar fonts de big data són: 1) la manca de recursos humans qualificats i 2) l’absència de lleis, polítiques, estàndards i procediments per accedir a les dades dels productors de big data. L’estudi podria demostrar que R, Python i Hadoop són els tres programes principals utilitzats pels enquestats per generar estadístiques oficials a partir de fonts de big data. A més, molts països utilitzen R per generar estadístiques oficials com l’IPC, el cens agrícola i dades de despesa sanitària; Python s’utilitza per produir dades de rendiment de cultius, CPI i estadístiques de trànsit, mentre que l’eina Hadoop s’utilitza per generar estadístiques d’atur, dades de turisme i estadístiques d’ingressos/despeses domèstics. L’estudi també podria afirmar estadísticament que hi ha una associació significativa entre l’ús de les eines d’analítica R, Python i Hadoop i la variable sociodemogràfica, pel tipus d’organitzacions per a les quals treballen els enquestats. Amb l’evidència adequada, el treball de recerca confirma que les habilitats més ben valorades que es requereixen per generar estadístiques oficials utilitzant fonts de big data són: 1) habilitats de modelatge estadístic/matemàtic, 2) habilitats relacionades amb la ciència de dades, i 3) experiència en tecnologies de big data. El treball de recerca també confirma estadísticament que el patró de puntuació per a les habilitats —modelatge estadístic/matemàtic i experiència en tecnologies de big data— és diferent entre els enquestats menys experimentats i els més experimentats. A més, el patró de puntuació és diferent entre els enquestats de nivell júnior i els participants de nivell sènior pel que fa a les habilitats esmentades anteriorment. Es fa una anàlisi profunda per explorar els coneixements sobre l’ús de fonts de big data en la generació d’estadístiques oficials. S’executa una anàlisi SWOT per fer-ho, basant-se en la qual l’estudi podria concloure el següent: 1) Punts forts. Els factors més valorats segons les fortaleses de l’ús de fonts de big data per generar estadístiques oficials són: a) produir estadístiques en temps real, b) reduir el cost de recollida de dades i c) minimitzar la càrrega dels enquestats. La probabilitat de seleccionar el factor “produir estadístiques en temps real” com la fortalesa màxima per generar estadístiques oficials és de 0,4. 2) Debilitats. Els factors principals que es van considerar com a debilitats de l’ús de les fonts de big data són: a) absència de lleis per accedir a les dades dels grups d’interès, b) qüestions metodològiques i c) manca de recursos qualificats. A més, la probabilitat de seleccionar el factor “absència de lleis” per accedir a les dades, com a principal debilitat per generar estadístiques oficials, és de 0,3. 3) Oportunitats. Les oportunitats més valorades per a l’ús de fonts de big data són: a) disponibilitat oportuna de dades per a indicadors nacionals i internacionals (per exemple, ODS) i b) capacitat per substituir fonts de dades tradicionals. A més, la probabilitat de seleccionar el factor “disponibilitat oportuna de dades per a indicadors nacionals i internacionals”, com a oportunitat preferida per generar estadístiques oficials, és de 0,37. 4) Amenaces. Les amenaces més valorades per les fonts de big data a l’hora de generar estadístiques oficials són: a) la possibilitat de danys a la reputació o a la confiança pública i b) la resistència dels proveïdors de big data. A més, el factor de possibilitat “dany a la reputació o a la confiança pública” és el primer, amb un valor de probabilitat de 0,34. A partir de l’anàlisi, el treball de recerca va proposar les recomanacions següents tant a les NSO com als responsables polítics per millorar l’ús de fonts de big data en la producció d’estadístiques oficials: 1) els països haurien de desenvolupar programes i iniciatives per abordar les mancances de coneixement respecte a l’ús de fonts de dades no tradicionals; 2) les nacions haurien de dur a terme estudis per explorar les raons del baix ús de fonts de dades no tradicionals i per abordar els factors causals d’una manera efectiva des del nivell de base; 3) s’haurien d’encarregar estudis longitudinals específics per regió per monitorar el nivell de desenvolupament que s’ha produït en diverses regions, de tant en tant; 4) caldria elaborar protocols estrictes de gestió de big data i procediments operatius estàndard (SOP) per utilitzar fonts de big data per generar estadístiques oficials; 5) s’hauria de promulgar legislació per accedir al big data dels productors i protegir-lo, així com desenvolupar aplicacions estadístiques avançades per superar els reptes metodològics i reclutar recursos multidisciplinaris qualificats per millorar el nivell d’expertesa estadística del personal; 6) cal desenvolupar estratègies estrictes per millorar la col·laboració entre els actors del big data i generar desagregació de dades per crear polítiques a nivell de base; 7) s’haurien d’elaborar mètodes estadístics rigorosos per desenvolupar estadístiques precises i redactar polítiques per facilitar l’accés a les grans bases de dades; 8) s’ha d’animar les organitzacions basades en dades i els pioners del mercat de big data a organitzar tallers per explorar metodologies adequades específiques de cada país, juntament amb programes de formació destinats a aconseguir una situació en què tothom guanyi, i, finalment, 9) cal desenvolupar una plataforma centralitzada basada en el coneixement per emmagatzemar-hi i mantenir-hi iniciatives específiques d’acadèmics i bones pràctiques per regió en el tractament de fonts de big data per generar estadístiques oficials. – Name: Abstract Label: Description (Translated) Group: Ab Data: En los últimos años se ha generado una enorme cantidad de datos en todo el mundo gracias a innovaciones como el ordenador personal (PC), la World Wide Web (WWW), las plataformas de redes sociales y las tecnologías inteligentes y emergentes. Esa afluencia de datos generados por estas fuentes supone una nueva frontera en la denominada revolución de los datos. El formato de estos datos es, en su mayoría, no estructurado, por lo que comúnmente se denominan big data o macrodatos. Así, el mundo se inunda de datos y por ese motivo los líderes de los países abogan por aprovechar los beneficios de esos datos no solo para generar estadísticas oficiales, sino también para reducir el presupuesto de los países en diversos frentes. Por eso, las oficinas nacionales de estadística (NSO, por sus siglas en inglés) ahora disponen de una gran variedad de opciones para producir estadísticas oficiales utilizando fuentes de big data y algunos países ya las han utilizado para generar estadísticas oficiales. La presente investigación se lleva a cabo con el objetivo de explorar el uso de fuentes de big data en la generación de estadísticas oficiales. Se formulan cinco preguntas de investigación en función del objetivo del estudio, y son: 1) ¿cuáles son los beneficios de las fuentes de datos tradicionales (datos del censo, encuestas y administrativas) y no tradicionales (datos generados por máquinas, redes sociales e internet) para generar estadísticas oficiales? 2) ¿cuáles son las fuentes de big data utilizadas para producir estadísticas oficiales respecto a las condiciones sociales, culturales, económicas y políticas predominantes?; 3) ¿cuáles son las tecnologías de big data y su alcance de uso para generar estadísticas oficiales?; 4) ¿cuáles son las habilidades necesarias para generar estadísticas oficiales utilizando fuentes de big data?, y 5) ¿cuáles son las fortalezas, debilidades, oportunidades y amenazas al utilizar las fuentes de big data para generar estadísticas oficiales? Los datos del estudio actual se recogen mediante métodos de recogida de datos primarios y secundarios. Se emplea el método de investigación de escritorio para recopilar los datos secundarios y las fuentes de datos secundarias para el estudio son informes publicados, revistas, libros, internet, etc. Se adopta el método principal de recogida de datos de encuestas para recoger datos de la población objetivo. La población objetivo es la siguiente: 1) empleados que trabajan en NSO, 2) agencias gubernamentales que producen estadísticas oficiales, 3) investigadores/académicos que trabajan en la elaboración de estadísticas oficiales, y 4) empleados del sector privado implicados en la producción de fuentes de big data. Se utiliza la técnica de muestreo bola de nieve para recopilar los datos de la población. Se desarrolla un cuestionario estructurado con 26 preguntas en el software de Qualtrics. El cuestionario se comparte con los encuestados objetivo entre la tercera semana de julio del 2022 y finales de octubre del 2022 por correo electrónico. Un total de 193 participantes completaron los cuestionarios, de los cuales 145 se consideraron válidos y completos, por lo que el tamaño de la muestra del estudio es de 145. Las herramientas SPSS, R, RStudio Desktop y Microsoft Excel se utilizan rigurosamente para validar, resumir y analizar los datos. Cada pregunta de investigación se analiza utilizando técnicas como métodos descriptivos, de visualización y estadísticos inferenciales, dependiendo del tipo de variable. En primer lugar, se analiza el perfil de los encuestados, a partir del cual se puede concluir que han participado en la encuesta personas con una buena formación, altamente experimentadas y multidisciplinares. Además, se observa que la mayoría de los encuestados proceden de países asiáticos y trabajan en organizaciones públicas o son personal de una NSO. La respuesta a la encuesta se ha vuelto más creíble porque la mayoría de los encuestados pertenecen al sector de la información y la comunicación, a sectores profesionales, científicos y técnicos o al sector educativo. Con las respuestas basadas en la evidencia proporcionadas por los encuestados, el estudio podría establecer que las fuentes de big data tienen el potencial de generar estadísticas oficiales y que estos conocimientos están alineados con el trabajo de varios académicos. Además, se infirió del estudio que el uso de fuentes de datos no tradicionales puede aportar múltiples beneficios en comparación con las fuentes de datos tradicionales. Los encuestados prefieren los siguientes beneficios para fuentes de datos no tradicionales: 1) superar dificultades de recogida de datos (74%); 2) disponibilidad de datos en tiempo real (80%); 3) rentabilidad (72%), y 4) reducción de la carga de los encuestados (77%). Además, también se observa que los patrones de puntuación de todos los beneficios de las fuentes de datos no tradicionales son diferentes entre los encuestados menos experimentados y los más experimentados. Por ello, las NSO recomendaron aprovechar estos beneficios para generar estadísticas oficiales utilizando fuentes de big data. En contraste con el resultado habitual de la literatura, el beneficio de la consistencia de los datos (70%) es el preferido en las fuentes tradicionales de datos. Por ello, se recomienda realizar futuros trabajos de investigación en esta área para comprender la dinámica que dicta la percepción de los usuarios respecto a la consistencia de los datos en fuentes no tradicionales. El estudio también podría inferir que más de la mitad de los países utilizan tanto fuentes de datos tradicionales como no tradicionales para generar sus estadísticas nacionales, por lo que es igualmente importante arrojar luz sobre las razones por las que la proporción restante ha quedado retrasada. Además, también se entiende por el estudio que alrededor de un tercio de los encuestados ha utilizado fuentes de big data para generar estadísticas oficiales y alrededor de la mitad (48%) de los encuestados conoce las fuentes de big data para generar estadísticas oficiales. Es optimista observar que, entre las fuentes de big data utilizadas, las tres fuentes de big data mejor valoradas son: 1) los datos de localización de teléfonos móviles, que se utilizan para producir movilidad poblacional, estadísticas TIC y datos para indicadores ODS; 2) los datos de imágenes por satélite, que se utilizan para producir estadísticas de rendimiento de cultivos y datos de censos agrícolas, y 3) los datos de escáner, que se utilizan para generar CPI, así como datos para indicadores ODS. Además, cuatro de cada cinco encuestados mencionaron colaborar con organizaciones para producir estadísticas utilizando fuentes de big data. No obstante, el estudio también estableció que algunas de las razones para no utilizar fuentes de big data son: 1) la falta de recursos humanos cualificados y 2) la ausencia de leyes, políticas, estándares y procedimientos para acceder a los datos de los productores de big data. El estudio podría demostrar que R, Python y Hadoop son los tres programas principales utilizados por los encuestados para generar estadísticas oficiales a partir de fuentes de big data. Además, R está siendo utilizado por muchos países para generar estadísticas oficiales como el IPC, el censo agrícola y datos de gasto sanitario; Python se utiliza para producir datos de rendimiento de cultivos, CPI y estadísticas de tráfico, mientras que la herramienta Hadoop se utiliza para generar estadísticas de desempleo, datos turísticos y estadísticas de ingresos/gastos familiares. El estudio también podría afirmar estadísticamente que existe una asociación significativa entre el uso de las herramientas analíticas R, Python y Hadoop y la variable sociodemográfica, por el tipo de organizaciones para las que trabajan los encuestados. Con la evidencia adecuada, el trabajo de investigación confirma que las habilidades más valoradas necesarias para generar estadísticas oficiales utilizando fuentes de big data son: 1) habilidades de modelado estadístico/matemático, 2) habilidades relacionadas con la ciencia de datos, y 3) experiencia en tecnologías de big data. El trabajo de investigación también confirma estadísticamente que el patrón de puntuación de las habilidades —modelado estadístico/matemático y experiencia en tecnologías de big data— es diferente entre los encuestados menos experimentados y los más experimentados. Además, el patrón de puntuación es diferente entre los encuestados de nivel junior y los participantes de nivel senior en cuanto a las habilidades mencionadas anteriormente. Se realiza una investigación profunda para explorar los conocimientos en el uso de fuentes de big data en la generación de estadísticas oficiales. Para ello se lleva a cabo un análisis SWOT, basándose en el cual el estudio podría concluir lo siguiente: 1) Fortalezas. Los factores más valorados según las fortalezas del uso de fuentes de big data para generar estadísticas oficiales son: a) producir estadísticas en tiempo real, b) reducir el coste de recogida de datos y c) minimizar la carga de los encuestados. La probabilidad de seleccionar el factor “producir estadísticas en tiempo real” como la máxima fortaleza para generar estadísticas oficiales es de 0,4. 2) Debilidades. Los factores más destacados que se consideran debilidades en el uso de las fuentes de big data son: a) ausencia de leyes para acceder a los datos de los grupos de interés, b) problemas metodológicos y c) falta de recursos cualificados. Además, se observa que la probabilidad de seleccionar el factor “ausencia de leyes para acceder a los datos” como la principal debilidad para generar estadísticas oficiales es de 0,3. 3) Oportunidades. Las oportunidades más valoradas en el uso de las fuentes de big data son: a) disponibilidad oportuna de datos para indicadores nacionales e internacionales (por ejemplo, ODS) y b) capacidad para reemplazar fuentes de datos tradicionales. Además, la probabilidad de seleccionar el factor “disponibilidad oportuna de datos para indicadores nacionales e internacionales” como la oportunidad preferida para generar estadísticas oficiales es de 0,37. 4) Amenazas. Las principales amenazas de las fuentes de big data para generar estadísticas oficiales son: a) la posibilidad de daño a la reputación o a la confianza pública y b) la resistencia de los proveedores de big data. Además, el factor “posibilidad de daño a la reputación o a la confianza pública” es el primero, con un valor de probabilidad de 0,34. A partir de este análisis, el trabajo de investigación propuso las siguientes recomendaciones tanto a las NSO como a los responsables políticos para mejorar el uso de las fuentes de big data en la elaboración de estadísticas oficiales: 1) los países deben desarrollar programas e iniciativas para abordar las brechas de conocimiento respecto al uso de fuentes de datos no tradicionales; 2) las naciones deberían realizar estudios para explorar las razones del bajo uso de fuentes de datos no tradicionales y abordar eficazmente los factores causales desde la base; 3) se deben encargar estudios longitudinales específicos de cada región para monitorizar el nivel de desarrollo que ha tenido lugar en varias regiones de forma periódica; 4) hay que desarrollar protocolos estrictos de gestión de big data y procedimientos operativos estándar (SOP) para utilizar fuentes de big data y generar estadísticas oficiales; 5) es necesario promulgar una legislación para acceder al big data de los productores y protegerlo, desarrollar aplicaciones estadísticas avanzadas para superar los desafíos metodológicos y reclutar recursos multidisciplinares especializados para mejorar el nivel de experiencia estadística del personal; 6) deben desarrollarse estrategias estrictas para mejorar la colaboración entre los actores del big data y generar desagregación de datos para desarrollar políticas a nivel de base; 7) hay que elaborar métodos estadísticos rigurosos para desarrollar estadísticas precisas y redactar políticas que faciliten el acceso al big data; 8) debe animarse a las organizaciones basadas en datos y a los pioneros del mercado de big data a organizar talleres para explorar metodologías específicas de cada país junto con programas de formación orientados a lograr una situación beneficiosa para todos, y, finalmente, 9) es necesario desarrollar una plataforma centralizada basada en el conocimiento para almacenar y mantener iniciativas específicas de académicos y mejores prácticas concretas de cada región en el manejo de fuentes de big data para generar estadísticas oficiales.<br />In the last few years, an enormous amount of data has been generated across the world through innovations such as the personal computer (PC), World Wide Web (WWW), social media platforms, and smart and emerging technologies. This influx of data generated from these sources represents a new frontier in the ‘Data Revolution.’ The format of this data is mostly unstructured, and it is commonly referred to as ‘Big Data.’ Thus, the globe is flooded by data, and hence the leaders of the nations advocate tapping the benefits of this data, not only to generate official statistics, but also to reduce countries’ budgets on various fronts. So, National Statistical Offices (NSOs) now have a plethora of choices to produce official statistics using big data sources, and some countries have already utilized them to generate official statistics. The current research is conducted with the aim to explore the usage of big data sources in generating official statistics. Five research questions are framed based on the aim of the study and they are 1) what are the benefits of traditional (census, survey, and administrative data) and non-traditional (data generated from machines, social media, and the internet) data sources in generating official statistics?; 2) what are the big data sources used to produce official statistics with respect to the prevailing social, cultural, economic, and political conditions?; 3) what are the various big data technologies and their extent of usage in generating official statistics?; 4) what are the skills required to generate official statistics using big data sources?; and 5) what are the strengths and weaknesses, and opportunities and threats in using big data sources to generate official statistics? The data for the current study is collected through primary and secondary data collection methods. The desk research method is employed to collect the secondary data, and the secondary data sources for the study are published reports, journals, books, the internet, etc. A primary survey data collection method is adopted to collect data from the target population. The targeted population are 1) employees working in NSOs, 2) government agencies producing official statistics, 3) researchers/academics working on producing official statistics, and 4) private sector employees involved in producing big data sources. A snowball sampling technique is deployed to collect the data from the population. A structured questionnaire with 26 questions is developed in Qualtrics software. The questionnaire is shared with the targeted respondents between the third week of July 2022 and the end of October 2022 through email. A total of 193 participants filled out the questionnaire, out of which a total of 145 questionnaires are found to be valid and complete. Hence, the sample size of the study is 145. SPSS, R, RStudio Desktop, and Microsoft Excel (MS Excel) tools are rigorously used to validate, summarize, and analyze the data. Each research question is analyzed using various techniques, including descriptive, visualization, and inferential statistical methods, depending on the type of variable. Firstly, the respondent’s profile is analyzed, from which it can be concluded that well-educated, highly experienced, and multi-disciplinary skilled people have participated in the survey. Furthermore, it can be observed that most of the respondents are from Asian countries and either working in public organizations or NSOs. The responses to the survey are more credible as the majority of respondents are from the information and communication or education sectors or professional, scientific, and technical backgrounds With the evidence-based responses provided by the respondents, the study could establish that big data sources have the potential to generate official statistics, and these insights are aligned with the work of various scholars. In addition, it was inferred from the study that the usage of non-traditional data sources can result in multiple benefits as against the traditional data sources. The following benefits are preferred by the respondents for non-traditional data sources: 1) overcome data collection difficulties (74%); 2) availability of real-time data (80%); 3) cost effectiveness (72%); and 4) reduction of respondent burden (77%). Further to this, it is also observed that scoring patterns for all the benefits of non-traditional data sources are different between less experienced and experienced respondents. Accordingly, NSOs recommended tapping these benefits to generate official statistics using big data sources. In contrast to the regular outcome of the literature, the benefit of consistency of data (70%) is more preferred for traditional data sources. Therefore, future research work in this area is advocated to understand the dynamics that are dictating the perception of users regarding consistency of data for non-traditional data sources. The study could also infer that more than half of the countries use both traditional and non-traditional data sources to generate their country’s statistics, and thus it is equally important to throw light on the reasons as to why the remaining proportion are lagging behind. Besides, it is also understood from the study that around a third of the respondents have used big data sources to generate official statistics, and around half (48%) of the respondents are aware of big data sources in generating official statistics. It is optimistic to observe that among the big data sources used, the three topmost rated big data sources are: 1) mobile phone location data, which is used to produce population mobility, ICT statistics, and data for SDG indicators; 2) satellite imagery data, which is used to produce crop yield statistics and agriculture census data; and 3) scanner data, which is used to generate CPI as well as data for SDG indicators. In addition, four out of five respondents mentioned that they collaborate with organizations to produce statistics using big data sources. Notwithstanding this, the study also established that some of the reasons for not using big data sources are 1) lack of skilled human resources and 2) absence of laws, policies, standards, and procedures to access data from big data producers. The study found that R, Python and Hadoop are the top three software used by the respondents to generate official statistics from big data sources. Moreover, R is being used by many countries to generate official statistics such as CPI, agriculture censuses, and healthcare expenditure data; Python is being used to produce crop yield data, CPI, and traffic statistics; whereas, Hadoop is being used to generate unemployment statistics, tourism data, and household income/expenditure statistics. The study also could statistically affirm that there is a significant association between the usage of analytics tools R, Python, and Hadoop, the socio-demographic variable, and the type of organizations that the respondents are working for. With the evidence, the research work confirms that the topmost rated skills that are required to generate official statistics using big data sources are 1) statistical/mathematical modeling skills, 2) data science-related skills, and 3) experience in big data technologies. The research work also statistically confirms that the scoring pattern for the statistical/mathematical modeling skills, and experience in big data technologies is different between less experienced and highly experienced respondents. In addition, the scoring pattern is different between junior-level respondents and senior-level participants for the above-mentioned skills. A deep dive is performed to explore the insights in usage of big data sources in generating official statistics. SWOT analysis is executed for doing so, based on which the study could conclude that: 1) Strengths: The most factors rated for strengths of big data source usage for generating official statistics are 1) produce real-time statistics, 2) reduce data collection cost, and 3) minimize respondent burden. The probability of selecting the factor of produce real-time statistics as the top strength for generating official statistics is found to be 0.4. 2) Weaknesses: The topmost factors selected as weaknesses of big data source usages are 1) absence of laws to access data from stakeholders, 2) methodological issues, and 3) lack of skilled resources. The probability of selecting the factor of absence of laws to access the data as the top weakness for generating official statistics is observed to be 0.3. 3) Opportunities: The most rated opportunities of big data source usages are 1) timely availability of data for national and international indicators (e.g., SDG), and 2) ability to replace traditional data sources. The probability of selecting the factor of timely availability of data for national and international indicators as the most preferred opportunity for generating official statistics is found to be 0.37. 4) Threats: The top-ranked threats of big data sources in generating official statistics are 1) possibility of damage to reputation or public trust, and 2) resistance from big data providers. The factor of the possibility of damage to reputation or public trust is top-ranked with a probability value of 0.34. Based on the analysis, the research work proposed the following recommendations to NSOs and policymakers to improve the usage of big data sources in producing official statistics: 1) countries should develop programs and initiatives to address knowledge gaps with respect to usage of non-traditional data sources; 2) nations should conduct studies to explore the reasons for the low usage of non-traditional data sources and to address causal factors effectively from the grassroot level; 3) region-specific longitudinal studies should be commissioned to monitor the level of development that took place in various regions from time to time; 4) develop stringent big data management protocols and Standard Operating Procedures (SOP) to use big data sources for generating official statistics; 5) enact legislation to access and secure the big data from producers, develop advanced statistical applications to overcome the methodological challenges, and recruiting multidisciplinary skilled resources to enhance level of statistical expertise of the staff; 6) develop stringent strategies for enhancement of collaboration among big data stakeholders and to generate disaggregation of data for developing policies at grassroot level; 7) develop rigorous statistical methods to produce accurate statistics, and draft policies for facilitating ease of big data access; 8) encourage data-driven organizations and big data market pioneers to organize workshops to explore suitable country-specific methodologies along with training programs that are aimed to achieve a win-win situation; and finally 9) develop a centralized knowledge-based platform to store and maintain specific initiatives of scholars and region-specific best practices in dealing with big data sources for generating official statistics.<br />Societat de la informació i el coneixement – Name: TypeDocument Label: Document Type Group: TypDoc Data: Dissertation/Thesis – Name: Format Label: File Description Group: SrcInfo Data: application/pdf – Name: Language Label: Language Group: Lang Data: English – Name: URL Label: Access URL Group: URL Data: <link linkTarget="URL" linkTerm="https://hdl.handle.net/10803/697747" linkWindow="_blank">https://hdl.handle.net/10803/697747</link> – Name: Copyright Label: Rights Group: Cpyrght Data: L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/ – Name: AN Label: Accession Number Group: ID Data: edstdx.10803.697747 |
| PLink | https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edstdx&AN=edstdx.10803.697747 |
| RecordInfo | BibRecord: BibEntity: Languages: – Text: English PhysicalDescription: Pagination: PageCount: 231 Subjects: – SubjectFull: fonts de dades tradicionals Type: general – SubjectFull: fuentes de datos tradicionales Type: general – SubjectFull: traditional data sources Type: general – SubjectFull: fonts de dades no tradicionals Type: general – SubjectFull: fuentes de datos no tradicionales Type: general – SubjectFull: non-traditional data sources Type: general – SubjectFull: macrodades Type: general – SubjectFull: macrodatos Type: general – SubjectFull: big data Type: general – SubjectFull: oficines nacionals d’estadística Type: general – SubjectFull: oficinas nacionales de estadística Type: general – SubjectFull: national statistical offices Type: general – SubjectFull: Societat de la Informació i el Coneixement Type: general Titles: – TitleFull: Usage of Big Data in official statistics Type: main BibRelationships: HasContributorRelationships: – PersonEntity: Name: NameFull: Jinugu, Anjaneyulu IsPartOfRelationships: – BibEntity: Dates: – D: 24 M: 04 Type: published Y: 2025 |
| ResultId | 1 |