Visualización de Datos

VISUALIZACIÓN DE DATOS

Objetivos

• Explorar el concepto de visualizaciones de datos y las formas de desarrollarlas para favorecer la comprensión de datos presentados / diseñados de esta forma.

• Indagar el recorrido por el proceso de creación de casos paradigmaticos de visualizaciones de datos para indagar sobre la información alli presentada y las decisiones de diseño que se tomaron en la presentación.

• Dar cuenta de la producción de visualizaciones de datos y su comunicación en los distintos niveles de gobierno para indagar en procesos comunicacionales de la información pública.

Aplicaciones comentadas en el curso.

• Densidad Poblacional:
  https://datosgobar.github.io/densidad-poblacion/
• Balance Energético:
  https://datosgobar.github.io/energia/
• ¿Cómo está el sol en Capital Federal?
  https://datosgobar.github.io/radiacion-uv/
• Tu nombre en los últimos cien años
  http://nombres.historias.datos.gob.ar/#seccion2
• "Historias sobre “Tu nombre en los últimos cien años”
  https://medium.com/datos-argentina/dime-tu-nombre-y-te-dir%C3%A9-qu%C3%A9-tan-popular-es-6d049907234
• Escuelas rurales conectadas
  https://datosgobar.github.io/escuelas-rurales-conectadas/

Producción de Datos Abiertos Gubernamentales...

PRODUCCIÓN DE DATOS ABIERTOS GUBERNAMENTALES USANDO MS EXCEL

Tim Berners-Lee, el inventor de la Web e iniciador de los Datos Enlazados (Linked Data), sugirió un esquema de desarrollo de 5 estrellas para Datos Abiertos2, que podemos detallar de la siguiente manera:

Una estrella: ofrecer los datos en cualquier formato, aunque sean difíciles de manipular, como un pdf o una imagen escaneada. 

Dos estrellas: entregar los datos de manera estructurada, como en un archivo Excel con extensión xls. 

Tres estrellas: entregar los datos en un formato que no sea propietario, como .csv en vez de Excel. 

Cuatro estrellas: usar las URL (que es una dirección web de un dato que sirve para enlazarlo con otros datos) para identificar cosas y propiedades, de manera que se pueda apuntar a los datos. Requiere usar un estándar RDF. 

Cinco estrellas: vincular sus datos con los de otras personas, dotándolos de contexto. En la práctica, que la información entregada también apunte a otras fuentes de datos. Por ejemplo, si publico información sobre un libro dentro de mis datos, enlazar descripciones del libro que pertenezcan a otros publicadores (como DBPedia o Amazon)3.

3 Fuente: Biblioteca del Congreso Nacional de Chile. En línea: http://datos.bcn.cl/es/informacion/las-5-estrellas

Contenidos:

Datasets

Meta datos.

Ejemplos de Meta datos.

Limpieza de datos.

Data Cleasing (Recomendaciones)

PROCESO DE DATA CLEASING

El data cleansing, data scrubbing o limpieza de datos es el acto de descubrimiento, corrección o eliminación de datos erróneos de una base de datos. Este proceso permite identificar datos incompletos, incorrectos, inexactos, no pertinentes, etc. y luego substituir, modificar o eliminar estos datos sucios (data duty), para alcanzar datos de calidad (data quality) 1 .

1 Fuente: Wikipedia. Limpieza de datos. En línea: https://es.wikipedia.org/wiki/Limpieza_de_datos

Recomendaciones para el proceso de Data Cleasing:

1) Los Datos deben ser Precisos.

El proceso de limpieza de datos debe garantizar que los datos son certeros , precisos , validos y la mejor manera de garantizar esto es comparándolos con otros orígenes de datos, sino existe esta fuente o la fuente utilizada para comparar nuestros datos es inexacta nuestros datos también lo serán y la limpieza no cumplirá su objetivo.

2) Los Datos deben ser consistentes.

Los datos deben ser los mismos en calidad y representación en los distintos orígenes de datos de los que tengamos gobernanza, la consistencia es mas que asegurar la integridad de datos a través del uso de relaciones entre entidades de una base de datos, la consistencia ademas de asegurar la adecuada integridad entre entidades de una base de datos debe velar porque la operatoria de los sistemas con su funcionamiento no habilite el ingreso de inconsistencia de datos como redundancia , edición parcial de datos, etc.

3) Los Datos deben ser validados.

Se debe preguntar si los datos cumplen con reglas y restricciones particulares que se definen comopueden ser la validacion de datos ingresados a traves de APIs que garanticen la integridad de los mismos o como puede ser asegurar que donde se guarde la estatura no se guarde el peso de un paciente en un sistema del servicio de nutricion de un hospital pediatrico.

4) Los datos deben estar completos.

La incompletitud de datos es algo que la limpieza de datos no puede evitar sin embargo se pueden efectuar procesos  que generen datos con los cuales se completen a los faltantes.

5) Los Datos deben ser uniformes.

Es importante que los datos se manejen en las mismas unidades y de ser necesario se manejen sistemas de equivalencias entre datos que sean consistentes con las reglas del negocio de manera que no afecten a la informacion producida a partir de esos datos.
Es critico que las unidades de medida sean conocidas para la limpieza de datos , si se desconoce las unidades de carga inicial de los datos se tornara imposible la limpieza de datos.

Fuente 
https://www.dataisbeauty.com/data-cleansing-best-practices-strategy/

• Soporte al agente SSH.

Gestión de Múltiples Bases de Datos

GESTIÓN DE BASES DE DATOS CON DBEAVER

Es una herramienta de Gestion de Base de Datos de codigo libre soporta conexion a las bases de datos mas populares como pueden ser : SQL Server , Postgresql , Mysql , Oracle , Sybase ,FireBird, etc. 

La version de Diciembre del 2019 trae:

• Soporte al agente SSH.
• Se agrego complementos de Eclipse.
• Se mejoro el manejo del autocommit.
• Se mejoro sus capacidades de exportacion.
• Se graba sesiones del editor sql.
• Ahora controla duplicacion de nombres entre los objetos de una base.
• Para postgres se añadio el soporte de alias de tipos extras y tipos de datos arreglo.
• etc.

Video del uso que le doy en mi trabajo

RAD (Rapid Application Development) Generador Código PHP basado patrón MVC

RAD (Rapid Application Development) 
Generador de código PHP con patrón Modelo Vista Controlador con framework casero.

Ver Video 1 Generador de Código


Este proyecto tuvo los siguientes objetivos:

1. Desarrollar programa php que permita la automatización de la generación de código completamente funcional que reemplace la generación manual que realizaban los programadores para la primer versión de prototipos basado en patrón MVC del framework que se venia utilizando.
2. Automatizar solo los ABMs en función de los datos proporcionados por el modelo de datos del proyecto.
3. Incluir en la generación el reconocimiento de claves foráneas y generar código en consecuencia para todas las vistas generadas.
4. No añadir reglas de negocios al código generado en lo que respecta a los ABMs.
5. No dificultar que los programadores añadan el código necesario para adaptación del comportamiento al primer prototipo generado por la herramienta.
6. Automatizar al máximo el código rutinario asociado al 80% de los proyectos que se generan.
7. Automatización de filtrado y consulta sobre los datos de los Abms generados.
8. Reducir los tiempos iniciales de desarrollo de los proyectos.
9. Contar con una herramienta de generación de prototipos que fuera funcional.
10. Que la herramienta pueda generar un prototipo con código a partir del cual se pueda continuar las iteraciones sin mayores problemas incluyendo nuevos Abms o cambios en los mismos.

Diálogos de aprendizaje : Evaluación y Big Data

BIG DATA 

Mis Videos en YouTube

Recursos del Curso INAP

CRITICAL QUESTIONS FOR BIG DATA, por danah boyd & Kate Crawford
https://www.tandfonline.com/doi/pdf/10.1080/1369118X.2012.678878

What makes Big Data, Big Data?, por Rob Kitchin & Gavin McArdle
http://journals.sagepub.com/doi/10.1177/2053951716631130

Historias de Matemáticas Matemáticas para entender los fenómenos sociales: los trabajos pioneros de Florence Nightingale, por Marta Macho Stadler
http://www2.caminos.upm.es/Departamentos/matematicas/revistapm/revista_impresa/vol_VII_num_1/editorial_vol7_1.pdf

La huella física de la economía digital y su impacto en la organización del territorio, por Antonio Vazquez Brust.
http://www.academia.edu/29855274/La_huella_f%C3%ADsica_de_la_econom%C3%ADa_digital_y_su_impacto_en_la_organizaci%C3%B3n_del_territorio

“Big Data: The 5 Vs Everyone Must Know” por Brian Marr
https://www.linkedin.com/pulse/20140306073407-64875646-big-data-the-5-vs-everyone-must-know

Lenguaje R

LENGUAJE R

Mis Videos en YouTube

R nació como una reimplementación de software libre del lenguaje S, adicionado con soporte para alcance estático. Se trata de uno de los lenguajes de programación más utilizados en investigación científica, siendo además muy popular en los campos de aprendizaje automático (machine learning), minería de datos, investigación biomédica, bioinformática y matemáticas financieras. A esto contribuye la posibilidad de cargar diferentes bibliotecas o paquetes con funcionalidades de cálculo y graficación.
R es parte del sistema GNU y se distribuye bajo la licencia GNU GPL. Está disponible para los sistemas operativos Windows, Macintosh, Unix y GNU/Linux. 

Laboratorio de Firma Digital

LABORATORIO DE FIRMA DIGITAL 

Ver Sitio Laboratorio Digital INAP

Temas del Curso.

Mis Videos en YouTube

La creciente demanda de trámites y transferencia de información dentro del Estado y las empresas privadas ha obligado a adoptar métodos más eficientes de su gestión. Las tecnologías de información constituyen en este sentido una herramienta imprescindible a la hora de definir nuevos métodos más ágiles y eficientes. Así, la firma digital representa una de las herramientas principales a implementar dentro de las nuevas tecnologías de información disponibles, ya que permite otorgar autoría e integridad a los documentos electrónicos. 

Gobierno Abierto

GOBIERNO ABIERTO

https://campus.inap.gob.ar

Mis Videos en YouTube

Las tecnologías de la información y la comunicación (TIC) modificaron la manera en la que se relacionan los integrantes de la sociedad entre sí y con el gobierno. La posibilidad de interacción que permiten las TIC potencia la demanda de un nuevo vínculo entre la ciudadanía y el Estado. La ciudadanía está cada vez más informada y tiene acceso a infinidad de contenidos y material, por lo que las demandas se diversifican y las personas están cada vez más conectadas.
El uso de las TIC puede ayudar a los gobiernos en varios aspectos. La tecnología ofrece nuevas posibilidades para mostrar los actos de gobierno en tiempo real, para transparentar información que antes era más difícil de poner a disposición pública de manera masiva. También facilita que el gobierno y la sociedad mantengan un vínculo más interactivo, que el gobierno pueda consultar a sus ciudadanos de manera permanente y brindar una atención las 24 horas, los 7 días de la semana. Las TIC permiten, además, promover y difundir experiencias exitosas y buenas prácticas para adaptarlas y escalarlas a múltiples contextos. 

Big Data Curso

BIG DATA HACIENDO HABLAR LOS DATOS

https://campus.inap.gob.ar

Actualmente, las grandes medidas que se toman en las distintas áreas de gobierno suelen estar basadas en el entrecruzamiento de distintas fuentes de datos que están al alcance de todas las personas. El desafío es encontrar nuevas formas de utilizar esa información y pensar las mejores decisiones de gobierno que permitan proponer políticas públicas que mejoren y simplifiquen la vida de todos y todas las habitantes de la nación. Para esto, la transparencia y el acceso son valores fundamentales.

Este curso propone una aproximación a los principios y dinámicas de la toma de decisiones a partir de datos, buscando los métodos adecuados para poder producir nuevos cambios y soluciones estratégicas. De este modo, se buscará a lo largo del curso generar intuiciones fundamentales que permitan favorecer metodologías de exploración y análisis de información y la toma de decisiones, enfrentándose a grandes bases de datos que ilustran, a modo de ejemplo, dos cuestiones fundamentales para el país: el sistema de salud y el consumo de energía eléctrica.

A lo largo del primer caso, buscaremos trabajar a partir de la distribución geográfica de centros de atención y tiempos de espera las nociones de variables numéricas y categóricas, la lectura de datos a partir de bases excel y las distintas formas de organizar la información en gráficos.

En cuanto al caso de la electricidad, a partir de la identificación de patrones de consumo y políticas de eficiencia eléctrica, buscaremos trabajar las nociones de variable a predecir y variable regresora, sistemas de regresión lineal y múltiple y, finalizaremos, con el problema de clasificación.

Experto en Project Management

EXPERTO EN PROJECT MANAGEMENT  (PMBOOK 6)

http://www.sceu.frba.utn.edu.ar/e-learning/cursos-online/Project-Management/Experto-en-Project-Management-%28Intensivo%29/temario.html