Cocinando Datos Con Power BI

Tips Cocina de Datos Power BI

1.Generar la conexión a los orígenes de datos necesarios.
2.No cargar directamente sino transformar datos.
3.Acceder a Power Query Editor y desde alli ejecutar de ser necesario:

• Reubicacion o ajuste de headers de columnas 
• Eliminar filas.
• Eliminar Columnas(evitar redundancia con otros origenes de datos relacionados).
• Renombrado de headers de Columnas
• Transformación de datos (por ejemplo spliteo, unpivot , etc)
• Generación de columnas Indices.
• Generación de Columnas condicionales( para agrupamientos)
• Reemplazo de datos en columnas para estandarizacion.
• Cambio de el tipo de datos de columnas.
• Eliminación grupal de las columnas innecesarias que puedan  aparecer eventualmente en e origen.
• Eliminacion de filas duplicadas.

4.Verificar la calidad de los datos de las columnas.
5. revisar las dependencias de las consultas.

Recomendaciones

1. Eliminar los pasos automáticos que pueda haber realizado el  editor sobre todo las conversiones automáticas de datos.

2. Para datos dudosos evitar inferir sobre estos hallazgos de datos ( null o cero ) y validar con el usuario final del reporte que cual es el significado de estos para el negocio o si que informe que son realmente errores de carga en el archivo origen.

3.Utilizar siempre las opciones que apliquen acciones sobre el resto de columnas mas que sobre una selección de columnas fijas.

Herramientas de Visualización de Datos

Kit
Si querés iniciarte en la Visualización de Datos, te compartimos por un lado, portales de datos y, por otro, algunas aplicaciones que pueden ayudarte a empezar.

Portal de Datos Abiertos del Gobierno Argentino
http://datos.gob.ar/
Portal de Datos del Banco Mundial:
https://datacatalog.worldbank.org/.
Para trabajar con gráficos estadísticos

https://www.highcharts.com/
https://developers.google.com/chart/
https://infogram.com/
Para trabajar con mapas

https://www.mapbox.com/
https://carto.com/
Para generar paletas de colores

https://color.adobe.com/es/create/color-wheel/
http://tristen.ca/hcl-picker/#/hlc/6/1.05/303713/B77AA6

Visualización de Datos

VISUALIZACIÓN DE DATOS

Objetivos

• Explorar el concepto de visualizaciones de datos y las formas de desarrollarlas para favorecer la comprensión de datos presentados / diseñados de esta forma.

• Indagar el recorrido por el proceso de creación de casos paradigmaticos de visualizaciones de datos para indagar sobre la información alli presentada y las decisiones de diseño que se tomaron en la presentación.

• Dar cuenta de la producción de visualizaciones de datos y su comunicación en los distintos niveles de gobierno para indagar en procesos comunicacionales de la información pública.

Aplicaciones comentadas en el curso.

• Densidad Poblacional:
  https://datosgobar.github.io/densidad-poblacion/
• Balance Energético:
  https://datosgobar.github.io/energia/
• ¿Cómo está el sol en Capital Federal?
  https://datosgobar.github.io/radiacion-uv/
• Tu nombre en los últimos cien años
  http://nombres.historias.datos.gob.ar/#seccion2
• "Historias sobre “Tu nombre en los últimos cien años”
  https://medium.com/datos-argentina/dime-tu-nombre-y-te-dir%C3%A9-qu%C3%A9-tan-popular-es-6d049907234
• Escuelas rurales conectadas
  https://datosgobar.github.io/escuelas-rurales-conectadas/

Producción de Datos Abiertos Gubernamentales...

PRODUCCIÓN DE DATOS ABIERTOS GUBERNAMENTALES USANDO MS EXCEL

Tim Berners-Lee, el inventor de la Web e iniciador de los Datos Enlazados (Linked Data), sugirió un esquema de desarrollo de 5 estrellas para Datos Abiertos2, que podemos detallar de la siguiente manera:

Una estrella: ofrecer los datos en cualquier formato, aunque sean difíciles de manipular, como un pdf o una imagen escaneada. 

Dos estrellas: entregar los datos de manera estructurada, como en un archivo Excel con extensión xls. 

Tres estrellas: entregar los datos en un formato que no sea propietario, como .csv en vez de Excel. 

Cuatro estrellas: usar las URL (que es una dirección web de un dato que sirve para enlazarlo con otros datos) para identificar cosas y propiedades, de manera que se pueda apuntar a los datos. Requiere usar un estándar RDF. 

Cinco estrellas: vincular sus datos con los de otras personas, dotándolos de contexto. En la práctica, que la información entregada también apunte a otras fuentes de datos. Por ejemplo, si publico información sobre un libro dentro de mis datos, enlazar descripciones del libro que pertenezcan a otros publicadores (como DBPedia o Amazon)3.

3 Fuente: Biblioteca del Congreso Nacional de Chile. En línea: http://datos.bcn.cl/es/informacion/las-5-estrellas

Contenidos:

Datasets

Meta datos.

Ejemplos de Meta datos.

Limpieza de datos.

Data Cleasing (Recomendaciones)

PROCESO DE DATA CLEASING

El data cleansing, data scrubbing o limpieza de datos es el acto de descubrimiento, corrección o eliminación de datos erróneos de una base de datos. Este proceso permite identificar datos incompletos, incorrectos, inexactos, no pertinentes, etc. y luego substituir, modificar o eliminar estos datos sucios (data duty), para alcanzar datos de calidad (data quality) 1 .

1 Fuente: Wikipedia. Limpieza de datos. En línea: https://es.wikipedia.org/wiki/Limpieza_de_datos

Recomendaciones para el proceso de Data Cleasing:

1) Los Datos deben ser Precisos.

El proceso de limpieza de datos debe garantizar que los datos son certeros , precisos , validos y la mejor manera de garantizar esto es comparándolos con otros orígenes de datos, sino existe esta fuente o la fuente utilizada para comparar nuestros datos es inexacta nuestros datos también lo serán y la limpieza no cumplirá su objetivo.

2) Los Datos deben ser consistentes.

Los datos deben ser los mismos en calidad y representación en los distintos orígenes de datos de los que tengamos gobernanza, la consistencia es mas que asegurar la integridad de datos a través del uso de relaciones entre entidades de una base de datos, la consistencia ademas de asegurar la adecuada integridad entre entidades de una base de datos debe velar porque la operatoria de los sistemas con su funcionamiento no habilite el ingreso de inconsistencia de datos como redundancia , edición parcial de datos, etc.

3) Los Datos deben ser validados.

Se debe preguntar si los datos cumplen con reglas y restricciones particulares que se definen comopueden ser la validacion de datos ingresados a traves de APIs que garanticen la integridad de los mismos o como puede ser asegurar que donde se guarde la estatura no se guarde el peso de un paciente en un sistema del servicio de nutricion de un hospital pediatrico.

4) Los datos deben estar completos.

La incompletitud de datos es algo que la limpieza de datos no puede evitar sin embargo se pueden efectuar procesos  que generen datos con los cuales se completen a los faltantes.

5) Los Datos deben ser uniformes.

Es importante que los datos se manejen en las mismas unidades y de ser necesario se manejen sistemas de equivalencias entre datos que sean consistentes con las reglas del negocio de manera que no afecten a la informacion producida a partir de esos datos.
Es critico que las unidades de medida sean conocidas para la limpieza de datos , si se desconoce las unidades de carga inicial de los datos se tornara imposible la limpieza de datos.

Fuente 
https://www.dataisbeauty.com/data-cleansing-best-practices-strategy/

• Soporte al agente SSH.

Gestión de Múltiples Bases de Datos

GESTIÓN DE BASES DE DATOS CON DBEAVER

Es una herramienta de Gestion de Base de Datos de codigo libre soporta conexion a las bases de datos mas populares como pueden ser : SQL Server , Postgresql , Mysql , Oracle , Sybase ,FireBird, etc. 

La version de Diciembre del 2019 trae:

• Soporte al agente SSH.
• Se agrego complementos de Eclipse.
• Se mejoro el manejo del autocommit.
• Se mejoro sus capacidades de exportacion.
• Se graba sesiones del editor sql.
• Ahora controla duplicacion de nombres entre los objetos de una base.
• Para postgres se añadio el soporte de alias de tipos extras y tipos de datos arreglo.
• etc.

Video del uso que le doy en mi trabajo

RAD (Rapid Application Development) Generador Código PHP basado patrón MVC

RAD (Rapid Application Development) 
Generador de código PHP con patrón Modelo Vista Controlador con framework casero.

Ver Video 1 Generador de Código


Este proyecto tuvo los siguientes objetivos:

1. Desarrollar programa php que permita la automatización de la generación de código completamente funcional que reemplace la generación manual que realizaban los programadores para la primer versión de prototipos basado en patrón MVC del framework que se venia utilizando.
2. Automatizar solo los ABMs en función de los datos proporcionados por el modelo de datos del proyecto.
3. Incluir en la generación el reconocimiento de claves foráneas y generar código en consecuencia para todas las vistas generadas.
4. No añadir reglas de negocios al código generado en lo que respecta a los ABMs.
5. No dificultar que los programadores añadan el código necesario para adaptación del comportamiento al primer prototipo generado por la herramienta.
6. Automatizar al máximo el código rutinario asociado al 80% de los proyectos que se generan.
7. Automatización de filtrado y consulta sobre los datos de los Abms generados.
8. Reducir los tiempos iniciales de desarrollo de los proyectos.
9. Contar con una herramienta de generación de prototipos que fuera funcional.
10. Que la herramienta pueda generar un prototipo con código a partir del cual se pueda continuar las iteraciones sin mayores problemas incluyendo nuevos Abms o cambios en los mismos.

Diálogos de aprendizaje : Evaluación y Big Data

BIG DATA 

Mis Videos en YouTube

Recursos del Curso INAP

CRITICAL QUESTIONS FOR BIG DATA, por danah boyd & Kate Crawford
https://www.tandfonline.com/doi/pdf/10.1080/1369118X.2012.678878

What makes Big Data, Big Data?, por Rob Kitchin & Gavin McArdle
http://journals.sagepub.com/doi/10.1177/2053951716631130

Historias de Matemáticas Matemáticas para entender los fenómenos sociales: los trabajos pioneros de Florence Nightingale, por Marta Macho Stadler
http://www2.caminos.upm.es/Departamentos/matematicas/revistapm/revista_impresa/vol_VII_num_1/editorial_vol7_1.pdf

La huella física de la economía digital y su impacto en la organización del territorio, por Antonio Vazquez Brust.
http://www.academia.edu/29855274/La_huella_f%C3%ADsica_de_la_econom%C3%ADa_digital_y_su_impacto_en_la_organizaci%C3%B3n_del_territorio

“Big Data: The 5 Vs Everyone Must Know” por Brian Marr
https://www.linkedin.com/pulse/20140306073407-64875646-big-data-the-5-vs-everyone-must-know

Lenguaje R

LENGUAJE R

Mis Videos en YouTube

R nació como una reimplementación de software libre del lenguaje S, adicionado con soporte para alcance estático. Se trata de uno de los lenguajes de programación más utilizados en investigación científica, siendo además muy popular en los campos de aprendizaje automático (machine learning), minería de datos, investigación biomédica, bioinformática y matemáticas financieras. A esto contribuye la posibilidad de cargar diferentes bibliotecas o paquetes con funcionalidades de cálculo y graficación.
R es parte del sistema GNU y se distribuye bajo la licencia GNU GPL. Está disponible para los sistemas operativos Windows, Macintosh, Unix y GNU/Linux. 

Laboratorio de Firma Digital

LABORATORIO DE FIRMA DIGITAL 

Ver Sitio Laboratorio Digital INAP

Temas del Curso.

Mis Videos en YouTube

La creciente demanda de trámites y transferencia de información dentro del Estado y las empresas privadas ha obligado a adoptar métodos más eficientes de su gestión. Las tecnologías de información constituyen en este sentido una herramienta imprescindible a la hora de definir nuevos métodos más ágiles y eficientes. Así, la firma digital representa una de las herramientas principales a implementar dentro de las nuevas tecnologías de información disponibles, ya que permite otorgar autoría e integridad a los documentos electrónicos. 

Gobierno Abierto

GOBIERNO ABIERTO

https://campus.inap.gob.ar

Mis Videos en YouTube

Las tecnologías de la información y la comunicación (TIC) modificaron la manera en la que se relacionan los integrantes de la sociedad entre sí y con el gobierno. La posibilidad de interacción que permiten las TIC potencia la demanda de un nuevo vínculo entre la ciudadanía y el Estado. La ciudadanía está cada vez más informada y tiene acceso a infinidad de contenidos y material, por lo que las demandas se diversifican y las personas están cada vez más conectadas.
El uso de las TIC puede ayudar a los gobiernos en varios aspectos. La tecnología ofrece nuevas posibilidades para mostrar los actos de gobierno en tiempo real, para transparentar información que antes era más difícil de poner a disposición pública de manera masiva. También facilita que el gobierno y la sociedad mantengan un vínculo más interactivo, que el gobierno pueda consultar a sus ciudadanos de manera permanente y brindar una atención las 24 horas, los 7 días de la semana. Las TIC permiten, además, promover y difundir experiencias exitosas y buenas prácticas para adaptarlas y escalarlas a múltiples contextos. 

Big Data Curso

BIG DATA HACIENDO HABLAR LOS DATOS

https://campus.inap.gob.ar

Actualmente, las grandes medidas que se toman en las distintas áreas de gobierno suelen estar basadas en el entrecruzamiento de distintas fuentes de datos que están al alcance de todas las personas. El desafío es encontrar nuevas formas de utilizar esa información y pensar las mejores decisiones de gobierno que permitan proponer políticas públicas que mejoren y simplifiquen la vida de todos y todas las habitantes de la nación. Para esto, la transparencia y el acceso son valores fundamentales.

Este curso propone una aproximación a los principios y dinámicas de la toma de decisiones a partir de datos, buscando los métodos adecuados para poder producir nuevos cambios y soluciones estratégicas. De este modo, se buscará a lo largo del curso generar intuiciones fundamentales que permitan favorecer metodologías de exploración y análisis de información y la toma de decisiones, enfrentándose a grandes bases de datos que ilustran, a modo de ejemplo, dos cuestiones fundamentales para el país: el sistema de salud y el consumo de energía eléctrica.

A lo largo del primer caso, buscaremos trabajar a partir de la distribución geográfica de centros de atención y tiempos de espera las nociones de variables numéricas y categóricas, la lectura de datos a partir de bases excel y las distintas formas de organizar la información en gráficos.

En cuanto al caso de la electricidad, a partir de la identificación de patrones de consumo y políticas de eficiencia eléctrica, buscaremos trabajar las nociones de variable a predecir y variable regresora, sistemas de regresión lineal y múltiple y, finalizaremos, con el problema de clasificación.

Experto en Project Management

EXPERTO EN PROJECT MANAGEMENT  (PMBOOK 6)

http://www.sceu.frba.utn.edu.ar/e-learning/cursos-online/Project-Management/Experto-en-Project-Management-%28Intensivo%29/temario.html

CRM Compras

Dynamics CRM Dirección de Compras 

Proyecto enfocado al rediseño del workflow de forma de orientarlo mas a la gestión de procesos que a solo realizar abms estancos.

Consta de :

• Requerimientos ( Solicitud  de contrataciones).
• Procedimientos (Distintos tipos de concursos)
• Ordenes de Compras.
• Ampliaciones.
• Reducciones.
• Prorrogas.
• Novedades.
• Envio automático de mails,
• Reportes.
• Paneles.

Video Dynamics CRM Compras

Project Managment (PMBook 5)

Project Managment PMBOOK V5

Objetivo

• Cumplir con el requisito de PMI de un curso de Gestión de Proyectos de 35 horas alineado al PMBOK Version 5, para optar a la certificación de CAPM o PMP
• Administrar de manera incluyente todos los elementos para realizar una Gestión exitos de sus proyectos de cualquier tipo
• Definir el Alcance objetivamente (en blanco y negro)
• Aprender a crear un cronograma que sea realista y consecuente con lo que se espera del proyecto
• Aprender a manejar los costos del proyecto incluyendo las contingencias, asi como los gastos relacionados con la calidad
• Saber que brindar y que no brindar para llegar exactamente a la calidad esperada en el proyecto (no mas ni menos)
• Saber manejar el recurso humano que se utilizara y como motivarlos para su participación en el proyecto
• Conocer que comunicar y a quien para garantizar el éxito del proyecto
• Identificar los riesgos asociados y poder prepararnos en la Gestión de Riesgos dentro del proyecto
• Saber que hacer y que comprar para sacar el mayor provecho de nuestras ventajas
• Encontrar maneras de involucrar a todos los interesados en el proyecto.

Certificación ISO 9000

Proceso de Certificación de ISO 9000 en la Dirección de Integración de Sistemas

Mis Videos en YouTube

Desarrollo de procedimientos para la Gestión de Riesgos de la Dirección de Integración.

Crowdsourcing y Big Data

ECROWDSOURCING 

Crowdsourcing (del inglés crowd –multitud– y outsourcing –recursos externos–) se podría traducir al español como colaboración abierta distribuida o externalización abierta de tareas, y consiste en externalizar tareas que, tradicionalmente, realizaban empleados o contratistas, dejándolas a cargo de un grupo numeroso de personas o de una comunidad, a través de una convocatoria abierta.

https://es.wikipedia.org/wiki/Crowdsourcing

Mockup CRM Compras con Balsamiq

Mockup CRM Compras con Balsamiq

Que es un Mockup?
Un mockup en desarrollo de software se utiliza en las etapa de definición de requerimientos y ayuda para que el usuario final o stackeholder puedan apreciar el diseño de las pantallas pudiendo verificar los datos que deben ser ingresados , presentados , forma de presentación de los datos , layout de los mismos , textos en pantalla ,etc. Del mismo modo facilita sin necesidad de incurrir en consumo de horas de programadores de mostrar la iteraccion que existirá entre pantalla y pantalla del sistema que al que se le esta tratando de definir su alcance, acotando sus requerimientos.

Que es Balsamiq ?
Es la herramienta que nos permite desarrollar toda serie de pantallas a través de las cuales podemos darle una idea mas acaba a los interesados y usuarios de como quedara el softare que se desarrollara al final.

https://balsamiq.com/wireframes/

Como ejemplo dejo este link con el mockup realizado y otro que muestra el desarrollo efectuado al final.

Video Mockups de CRM Compras Ministerio Transporte

Video de la Solucion Final con Dynamics CRM para Compras Ministerio

Scrum Master / Revolucion agil / Liderar Equipos Scrum

SCRUM MASTER 

https://campus.inap.gob.ar

Diagrama Contingencia ante Riesgo en Operación

DIAGRAMA GESTIÓN RIESGO OPERACIÓN  FUNCIONAMIENTO SISTEMA DE RELOJES BIOMÉTRICOS

Mis Videos en YouTube

Diagrama de analisis previo a la redacción y aprobación del procedimiento de plan de contingencia ante riesgo de mal funcionamiento de relojes biométricos del sistema de control de acceso.

Gestión de Riesgos de Proyectos

GESTIÓN DE RIESGOS DE PROYECTOS Y OPERACIONES 

Borradores  de los procedimientos y formularios de mi autoria para el tratamiento de la gestión de  riesgos en los proyectos de la Dirección , incluye definiciones para el tratamiento de los riesgos de las operaciones realizadas .

Plan de Respuesta a Riesgos

Formulario de Riesgos de Proyectos

Planificación de Riesgos

Procedimiento de Formulario de Riesgos de Proyectos

Formulario Plan de Respuesta a Riesgos

Procedimiento Plan de Respuesta a Riesgos

Presentación

Inicio de la Epidemiologia y el Big Data

EPIDEMIOLOGIA MODERNA Y BIG DATA 

John Snow (1813-1858) fue un brillante médico inglés. Desde temprana edad destacó por su agudo sentido de observación, razonamiento lógico y perseverancia, primero en el ámbito de la anestesia y posteriormente en epidemiología. Los sucesivos brotes de cólera que afectaron a la ciudad de Londres, lo motivaron a estudiar esta enfermedad desde un punto de vista poblacional, relacionando la incidencia de casos al consumo de aguas contaminadas por una "materia mórbida", responsable de la diarrea aguda con deshidratación que la caracteriza. En forma valerosa, Snow se opuso a las teorías vigentes de su época, sacrificando su prestigio. Fue pionero en el uso de metodologías de investigación epidemiológica moderna, por ejemplo, la implementación de encuestas y la epidemiología espacial. Con justa razón, hoy en día es considerado por la comunidad científica como el padre de la epidemiología moderna.

En 1854 hubo una tercera epidemia de colera en Londres. John Snow, un médico, decidió revisar todos los registros de defunciones, tratando de encontrar cuál era la causa real de dicha enfermedad. En esa época, la hipótesis era que se contagiaba por miasmas (conjunto de emanaciones fétidas de suelos y aguas impuras).
Snow utilizó los datos que tenía: fecha, dirección y cantidad de defunciones (DATOS ESTRUCTURADOS).
Y, al procesarlos, los convirtió en una imagen, en un mapa (DATO NO ESTRUCTURADO). Snow, encontró que la mayoría de las defunciones eran cerca de un pozo de agua y gracias al mapa, logró que un funcionario público inhabilite el pozo y la gente de esa zona dejó de contagiarse.Esta fue una prueba contundente que la transmisión era por el agua.

Gráfico de Snow de 1854 

John Snow, la epidemia de cólera y el nacimiento de la epidemiología moderna

Inteligencia de Negocios con Power BI (Servicio de atención del Dolor )

Inteligencia de Negocios con Power BI para El servicio de atención del Dolor de Pacientes

Ver Paneles Power BI

Microsoft Power BI es un aplicación con prestaciones que permiten generar soluciones de gran apoyo para los 

organismos de salud en cualquier nivel y jerarquía. Traduce los datos más complejos en simples paneles con 

gráficos que presentan la información de una manera intuitiva y en respuestas que pueden ser entendibles por

todos, todo esto reflejado en pantallas agradables a la vista y fáciles de manejar funcionando como un verdadero

autoservicio de información.