¡Villano a la vista!
Power Bi viene por defecto, valga la redundancia, con un defecto de modelado llamado "Auto date/time". Ésta es una opción de Power Bi Desktop o de un archivo en particular que se encuentra bajo la opción Data Load con título Time Intelligence.

¿Por qué no es un buena opción?
Pues para responder ésto primero veamos de que se trata. Para ello voy a mostrar un imagen de un modelo clásico y sencillo de Adventure Works conectado con DAX Studio. Veamos que tablas tenemos cargadas en el modelo.

Como pueden ver tenemos las tablas clásicas del modelo junto con unas adicionales de nombre "LocalDataTable_XXX". Éstas son Tablas Fecha que fueron creadas automáticamente por Power Bi por tener activada la opción mencionada. Auto date/time va a generar una nueva tabla en nuestro modelo por cada columna de tipo fecha que tengamos en el modelo. Cada una de éstas columnas se relacionará a una "LocalDataTable_XXX" para tener desagregados como Año/Trimestre/Mes/Día como así también para ejecutar cálculos de time intelligence.
Recién ahora podemos responder porqué es tan malo tenerlo cargado. La realidad es que depende el caso, si simplemente tenemos un Power Bi de una tabla para responder sencillos escenarios no habría problemas. El problema surge cuando tenemos varios requerimientos que responder que involucran un modelado. Una de las primeras reglas de modelado consiste en tener una tabla fecha que nos permita relatar hechos en el tiempo o inteligencia de fechas. Siempre que éste sea el caso crearíamos nuestra propia dimensión fecha. Por lo tanto, si tenemos un modelo con muchas dimensiones que tienen fechas como fecha de nacimiento, fecha de vencimiento de producto, entre otras. Las mismas van a generar tablas automáticas por todo el modelo haciéndolo cada vez más pesado en tamaño y en performance.
Espero que el consejo les sea útil para reducir el tamaño de esos archivos enormes y mejorar sus modelados.