Es un comentario frecuente “hace un año se tomaba una hora, hoy se tardan 2″ ¿Qué es lo que ha ocurrido? ¿Se puede optimizar?¿se puede bajar el tiempo?
Respuestas hay varias pero creo que las mas importantes son:
El volumen de información ha crecido y no tenemos una estrategia adecuada para refrescar el cubo. He visto MUCHAS veces cubos que se reprocesan completamente en su historia, así que cada mes el volumen a procesar se incrementa… Esto quiere decir que se borran todos los datos y se generan desde cero. Hay una gran oportunidad aquí. Los cubos o las herramientas no necesitan reprocesarse completamente, solo necesitan refrescar aquella parte que ya cambió. Si por ejemplo, las ventas solo están cambiando este mes entonces reprocesemos y refresquemos la información de únicamente este mes. Para esto se pueden usar varias estrategias como las particiones o manipulación de información en el ETL.
…y a veces hasta los 5 años de historia del data warehouse se generan de nuevo 
Otra pudiera ser que está procesando únicamente el mes o día actual pero ahora hay mas transacciones. Pareciera obvio pero hay que decirlo. Hace dos años había información de 10 tiendas y ahora tenemos 20, hará una año se vendían 1000 dlls ahora se venden 2000. Mayor volumen implica mas trabajo, mas acceso a disco, etc. A veces sucede que el ancho de banda de la red no es suficiente para transferir la información a buen ritmo. Ha sucedido que existe un superserver, con un super site, pero el socket para el cable de red junto al servidor tiene 10 años y es de 10 MBITs.
Sucede.
Hola, me parece muy interesante tu blog (de hecho llegue por casualidad).
Bueno, estoy justamente peleando con eso, manejo Analisys Server 2000 y mi DataMart esta en un SQl Server 2000 (ambos enterprise).
La verdad, estoy teniendo serios problemas con el procesamiento de la informacion, y esto ocasiona que el tiempo de Calculo de agregados me tome para una particion hasta mas de un dia (….
y eso que tengo hasta ahora 4 particiones)
He eliminado algunas dimensiones.. que me sugeririas..
Favor HEEELPPP!!!
a lo mejor se debe a la cantidad de agregados.
Los agregados deben de estar como buena práctica considero yo en un 20% inicial y a partir de ahi usar la optimización basada en uso.
Tambien depende de como está hecho el modelo a partir del cual se carga la información.
De entrada me iría por el primer punto
saludos
Adrian
Ya consideraste los indices ? q tu tabla de transacciones los tenga bien definidos…
[...] vía ¿por qué los cubos se tardan cada día más y más en procesarse? « Haciendo Cubos. [...]
Bueno, Mi Nombre es Felix A. Gonzalez, He Tenido Experiencia por Primera Ves en el año 1997, Laboraba en Pepsi Panama y Brindaba informacion Gerencial desde La Presidencia de La Junta Directiva hasta el Vendedor de Rutas a Nivel Nacional. Fue Una Experiencia muy Interesante. La Bae de Datos fue Informix y El Programa era Cognos Swuits. Me Pasaba algo Similar a stedes, Pero Yo Me las Arreglaba Realizando Cubos con Informacion Vertical por Departamentos, Luego Realizabas Vistas Logicas a traves del SQL conectando diversas Tablas Cruzadas y Luego Realizaba el Cubo Utilizando estas Vistas Logicas. Asi pude Liberar Los Recursos y El Calculo se realizaba en Minutos. Prueben Haciendo estos ajustes y veran. Estoy a la Oden para cualquier consulta. Luego Tube Esa Misma Experiencia para Coca Cola Panama y Cerveceria del baru, a para i era un Juego hacer estos Señores. Estoy en Facebooks, voy a comentar algo sobre el Tema, Me encanta trabajar con Cubos de Informacion. Tiren Lindea para estas embotelladoras cada una posee una gama de productos clasificados por Marca, Empaque, Vendedor, Supervisor, Agencia, Region, Pais, mas la data que quiere evaluar…. Excelente Tema. Para lo que me quieren escribir solicitando ayuda i consulta mi Nombre es Felix A. Gonzalez L., Desde Panama.
Estimado, me alegra confirmar la noticia que comentas sobre la creación de particiones para mejorar el tiempo de procesamiento de los cubos a raíz del incremento en la data.
Ahora la pregunta que tengo es la siguiente: como puedo realizar dicha de tarea de particionar los cubos?
Desde ya agradezco tu respuesta.
Saludos desde Chile