La Data Web

En múltiples oportunidades me encontré con personas que se dedican a data engineering o data analytics con python y por requerimiento/necesidad necesitan utilizar herramientas microsoft de movimiento de datos o Power Bi para presentarlos. Lo cierto es que dichas personas suelen detestar ese pedido puesto que esos puestos prefieren un trabajo más back que la demostración de tableros o herramientas de microsoft.

Ciertamente hoy microsoft ha implementado e impulsa Power Query para todo lo que es transformación de datos al punto que puede ser usado en SSIS, SSAS, Power Automate, Power Apps, Power Bi y DataFlows (en Power Platform y Data Factory).

El impulso por el lenguage de transformación es cada vez más fuerte y está pasando de ser un lenguaje de un rol de Bi a roles de data analyst y data engineer.

Por ello cree este post que nos ayudará a conocer como realizar las funciones básicas de SQL y principalmente Pandas (librería de python)

Hoy en día no es sencillo que toda nuestro conjunto de datos provenga de una sola fuente de tecnología o fuente de información (cliente, usuario final, etc). La realidad es que para enriquecer una análisis y poder llevar al máximo nuestras decisiones y analítica, debemos nutrirnos de fuentes externas.

En este post vamos en enfocarnos en algo conocido como Web Scrapping. No voy a ponerme explicar todo de cero. Básicamente lo que vamos a hacer es recolectar información semi estructurada de un sitio web para estructurarla en nuestro power bi. Tal vez estamos viendo algo interesante sobre información demográfica y nos vendría bien conocer la población del país/provincia que trabajamos para comprender mejor algunas proporciones y porcentajes en un mapa. Seguramente dichos datos no los tenemos a mano, sino que tenemos que escrapearlos de la web.

Cabe destacar que no solo porque lo veamos al dato en la web significa que vamos a poder tomarlo sencillamente con Power Bi. Algunos serán más fácil que otros dependiendo que tan estructurados sean y otros pueden ser realmente complejos y hasta imposible de tomarlos desde Power Bi (para tal caso podemos irnos a un lenguaje de desarrollo como python que está integrado, pero no viene al caso de nuestro artículo).

Este post contendrá la definición práctica de como usar los métodos sin detallar la explicación del código Power Query M.

A medida que transcurre el tiempo nuestros modelos más antiguos empiezan a perseguirnos. Seguramente los primeros y antiguos modelos que construimos no contienen todas las mejores prácticas que hay sobre Bi sino que vamos aprendiendo poco a poco con cada proyecto que vamos desarrollando. Cierto es que la experiencia nos invita a construir cada vez mejores modelos.

Sin embargo, ¿Que ocurre con nuestros antiguos desarrollos? lo cierto es que pueden perder eficiencia y hasta fallar en tamaño puesto que no fueron contemplados con las mejores prácticas. 

En esta oportunidad me gustaría hacer este pequeño post para revelar cinco buenas prácticas necesarias para construir un modelo con el tamaño indispensable y no excedente.

Algo no tan explotado en las comunidades y de mucha utilidad es la posibilidad de controlar paneles de power bi en tiempo real. Hoy por hoy el usuario final siempre pide un Bi en tiempo real hasta que se le explica la situación y en realidad ellos quieren tener información actualizada. La negociación de hasta 8 veces por día de un import mode suele ganar la conversación. Sin embargo, hay casos que realmente son de tiempo real. Cuando el deseo es de ver el estado actual de una transacción respecto de productos, tiendas, etc. Lo más tradicional es cuando buscan mostrar en un televisor la situación actual de algo en particular.

Lo difícil de explicar suele ser que no toda la data que solemos trabajar para un bi estaría disponible en tiempo real. El verdadero tiempo real que nos pide la información más reciente de algo suele ser concreta y sencilla, sino probablemente no sea una solución de tiempo real. Llamaremos streaming o tiempo real a todo esa información concreta que es necesario tener presente en intervalos menores a 15 minutos (tiempo de cache de direct query). 

Hoy por hoy Power Bi tiene un solo modo de representar un tablero en tiempo real y es mediante Paneles. Estos pizarrones que contienen capturas de un momento del tiempo de nuestros datos van a actualizarse instantáneamente según el ingreso de datos que reciban. No voy a ponerme explicar los tipos de realtime que tiene power bi (que podemos encontrar en la documentación) sino que me voy a enfocar en el que yo considero mejor y más recomendado. El Push Dataset o también conocido como Hybrid dataset. La razón que me hace seleccionarlo por encima de los demás es porque con esta opción podremos tener la flexibilidad de creación de informes de Power Bi junto con Medidas en DAX para darnos una mayor fortaleza de Data Visualization.

Éste post nos acompañará en la creación del conjunto de datos en tiempo real hasta ejecutar un código python pandas para insertar datos en lote sobre nuestro tablero.

Empecemos entonces: