La Data Web

El mismo titulo me ha dicho muchas veces que ésta es una idea terrible y aun así decidí escribirlo. La realidad es que muchas veces nuestros clientes o usuarios finales tienen estas ideas fatales que rompen un poco el "sentido" del uso de la herramienta queriendo realizar sus fines de otro modo.

Resulta ser que tiene mucha atracción la idea que un informe de power bi que ven diariamente exporte los datos automáticamente a una dirección para que ellos no tengan que estar entrando a exportarlos. Quieren ir a un lugar y que ya tenga el csv listo para explotar/trabajar con toda la limpieza de los datos.

Naturalmente, bajo las condiciones normales de Power Bi, esto no es posible. Aún así se puede obtener el resultado jugando un poco con las capacidades de ejecución de código Python y R dentro de nuestro editor de consultas. Entonces vamos a nutrirnos de esta capacidad para realizar el objetivo de tener los datos limpios exportados automáticamente.

NOTA: Cabe aclarar que no es recomendable con grandes volúmenes de información.

¡Hola! Mi nombre es Matías Deheza, Managing Director en Pi Data Strategy & Consulting. No esta demás comentar que comparto el gusto por el estudio de los datos y el cómo generar valor agregado a partir de estos de hace ya 5 años. Es así como me he nutrido, principalmente, de experiencias que buscaré compartir con todos. 

Me especializo en Azure y Arquitecturas de datos Cloud, de las cuales voy a compartir o contar algunas consideraciones técnicas interesantes a la hora de trabajar en estas arquitecturas. ¡Comencemos nomas!

Uno de los grandes atributos de Data Factory es su capacidad para orquestar múltiples componentes de Azure en un flujo de datos integral. Cuando empezamos a trabajar con datos, y particularmente con Analysis Services, se vuelve necesario que data Factory ejecute el procesamiento de este bajo ciertos parámetros. El procesamiento de Analysis Services será una actividad dentro de nuestro Pipeline y probablemente luego de esta sigan otras, por ende, es necesario que Data Factory reciba un aviso cuando el procesamiento haya finalizado.

Este post pretende mostrarles como disparar ese procesamiento y posteriormente como Data Factory espera por esa respuesta.

Como paso inicial es recomendable que hagan esto https://docs.microsoft.com/es-es/azure/analysis-services/analysis-services-refresh-azure-automation#authentication. Desde el punto "Authentication" hasta el punto "Diseño de un runbook de automation" inclusive.

En múltiples oportunidades me encontré con personas que se dedican a data engineering o data analytics con python y por requerimiento/necesidad necesitan utilizar herramientas microsoft de movimiento de datos o Power Bi para presentarlos. Lo cierto es que dichas personas suelen detestar ese pedido puesto que esos puestos prefieren un trabajo más back que la demostración de tableros o herramientas de microsoft.

Ciertamente hoy microsoft ha implementado e impulsa Power Query para todo lo que es transformación de datos al punto que puede ser usado en SSIS, SSAS, Power Automate, Power Apps, Power Bi y DataFlows (en Power Platform y Data Factory).

El impulso por el lenguage de transformación es cada vez más fuerte y está pasando de ser un lenguaje de un rol de Bi a roles de data analyst y data engineer.

Por ello cree este post que nos ayudará a conocer como realizar las funciones básicas de SQL y principalmente Pandas (librería de python)

Hoy en día no es sencillo que toda nuestro conjunto de datos provenga de una sola fuente de tecnología o fuente de información (cliente, usuario final, etc). La realidad es que para enriquecer una análisis y poder llevar al máximo nuestras decisiones y analítica, debemos nutrirnos de fuentes externas.

En este post vamos en enfocarnos en algo conocido como Web Scrapping. No voy a ponerme explicar todo de cero. Básicamente lo que vamos a hacer es recolectar información semi estructurada de un sitio web para estructurarla en nuestro power bi. Tal vez estamos viendo algo interesante sobre información demográfica y nos vendría bien conocer la población del país/provincia que trabajamos para comprender mejor algunas proporciones y porcentajes en un mapa. Seguramente dichos datos no los tenemos a mano, sino que tenemos que escrapearlos de la web.

Cabe destacar que no solo porque lo veamos al dato en la web significa que vamos a poder tomarlo sencillamente con Power Bi. Algunos serán más fácil que otros dependiendo que tan estructurados sean y otros pueden ser realmente complejos y hasta imposible de tomarlos desde Power Bi (para tal caso podemos irnos a un lenguaje de desarrollo como python que está integrado, pero no viene al caso de nuestro artículo).

Este post contendrá la definición práctica de como usar los métodos sin detallar la explicación del código Power Query M.

A medida que transcurre el tiempo nuestros modelos más antiguos empiezan a perseguirnos. Seguramente los primeros y antiguos modelos que construimos no contienen todas las mejores prácticas que hay sobre Bi sino que vamos aprendiendo poco a poco con cada proyecto que vamos desarrollando. Cierto es que la experiencia nos invita a construir cada vez mejores modelos.

Sin embargo, ¿Que ocurre con nuestros antiguos desarrollos? lo cierto es que pueden perder eficiencia y hasta fallar en tamaño puesto que no fueron contemplados con las mejores prácticas. 

En esta oportunidad me gustaría hacer este pequeño post para revelar cinco buenas prácticas necesarias para construir un modelo con el tamaño indispensable y no excedente.