Axional Analytics

Aplique Business Intelligence
sobre los datos de su empresa

Cada día, las organizaciones crean enormes cantidades de datos relacionados con sus operaciones. Sin embargo, aun con todos esos datos no tienen una gran cantidad de información. Axional Analytics está diseñado para convertir los datos en información útil al permitir la agregación de datos y proporcionando a los usuarios la información que necesitan para tomar decisiones efectivas sobre las orientaciones estratégicas de la organización.

Axional Analytics suite consta de dos herramientas: una herramienta de Data Warehouse y una herramienta analítica ROLAP para los usuarios finales. Con la combinación de estas herramientas, Axional Analytics puede manejar grandes cantidades de datos, procedentes de múltiples fuentes que proporcionan a los gerentes de la empresa con una visión global para tomar decisiones oportunas.

Con Data warehouse sus organizaciones serán capaces de responder a “quién” y “qué”. El módulo OLAP dará el siguiente paso, permitiendo respuestas a “¿qué pasaría si” y “por qué”, lo que permite la toma de capacidades sobre las decisiones de acciones futuras, y eso es por lo general és más complejo que la simple recolección de datos.

ETL Process

Los usuarios finales les encantan las herramientas de Business Intelligence. Proporcionan gráficos, tarjetas moviles, desgloses y obtención de detalles. Pero gran parte del trabajo en un entorno de análisis consiste en obtener los datos de los sistemas operativos en data warehouse para que las herramientas de inteligencia de negocios pueden mostrar esas fotos bien diseñadas.

El módulo de ETL es una plataforma de integración de datos empresariales escalables con extracto excepcional, transformación y carga (ETL). El módulo se basa en un motor de transformación de datos. Se opera a un nivel más alto de abstracción que muchas herramientas de desarrollo visual. En general, los desarrolladores pueden lograr mucho más con el motor en un número mucho menor de declaraciones que pueden con 3GLs:

  • Programa fácil: Basado en XSQL lenguaje de scripting, permitiendo una definición clara de los procesos ETL complejos.
  • Potente: Amplio conjunto de funciones incorporadas. Más de 300 funciones y conectores a múltiples bases de datos y formatos de archivo, lo que permite la definición de flujo complejo de control, flujo de datos, la lógica orientada a eventos, y el registro de pre-construidos.

Este módulo consolida los datos de diferentes sistemas de origen, con organizaciones o formatos de datos diferentes. Ha sido diseñado específicamente para mover grandes volúmenes de datos y aplicar las reglas de negocio complejas de llevar todos los datos juntos en un ambiente estandarizado y homogéneo. Las características principales de esta herramienta son:

  • Los lectores/escritores de acceso a la mayoría de las fuentes de datos.
  • Consolidar las fuentes de datos en un warehouse de datos central o datamart.
  • Proporciona indicadores cualitativos y cuantitativos para la optimización del trabajo.
  • Soporte Unicode. Unicode habilita a todo el conjunto de caracteres internacionales que no importa dónde se realiza el trabajo, puede ser recogida y almacenada de todo el mundo.
  • Funciones definibles por el usuario que se ejecutarán durante el proceso ETL.
  • Captura de datos modificados. Identifica y captura la información que ha sido añadida, o actualizada.

analiticsEl lenguaje XSQL permite la definición de reglas complejas para transformar los datos primarios . Algunos ejemplos son:

  • Validación de datos. Incluye la validación cruzada entre varias columnas.
  • Los valores de forma libre codificación (por ejemplo, textos de asignación a los códigos).
  • Derivar un nuevo valor calculado.
  • Valores de anonimato para los requisitos de privacidad de datos.
  • La transposición de columnas / filas.
  • Funciones de agregación.

La información es finalmente cargada en el objetivo final, por lo general un Data Warehouse o datamart. Las actualizaciones pueden ser mediante la sustitución de los datos anteriores, mediante la actualización de los datos existentes o mediante la adición de información acumulada.

Extraction

La herramienta proporciona conectores para la extracción a partir de múltiples fuentes de datos, desde texto plano a bases de datos, a Excel, XML y otros.

El origen de la información se extrae por los datos que fluyen y se puede cargar en el mismo momento en la base de datos de destino sin data storage. Las funciones avanzadas de carga permiten en la mayoría de los casos integrar todas las fases de ETL en un solo proceso, aumentar la seguridad y fiabilidad.

Una parte intrínseca de la extracción implica el análisis de los datos extraídos, comprobando que la información se encuentra con un patrón o estructura esperada. En caso contrario, la información puede ser rechazada en su totalidad o en parte:

  • Fuentes de información relacionadas: conectores JDBC / ODBC para bases de datos como IBM Informix, IBM DB2, Oracle, SQL Server, MySQL o Postgres. Consultas XML apoyando las relaciones y las múltiples tablas de recuperación de datos.
  • Fuentes de información no relacionadas: la recuperación directa en Excel del soporte del rango de multi-hojas y de nombres. Texto codificado Multilingüe, con cargadores nativos para CSV, anchura fija o RegEx cuando se requiere la extracción de texto avanzado. XQuery apoyo / XPath para la extracción de XML.
  • Fuente de información auxiliar: Crea fuentes de datos en memoria para pequeños conjuntos de datos como una tabla de códigos o propiedades traducidas. Es un método seguro para la transmisión de datos cifrados.
  • Extracto de atributos de archivo de un sistema de archivos en una carpeta para ser procesado como registros regulares.
  • Acceso a los datos -incluyendo XML y en texto a través de HTTP / HTTPS, TCP, y FTP / FTPS.
  • Métodos para descomprimir los archivos de origen con diferentes métodos: zip, comprimir, gzip, b2zip, etc. Los métodos para extraer datos de archivos y manipular archivos y directorios.

Transform

La etapa de transformar aplica una serie de reglas o funciones a los datos extraídos de la fuente para obtener los-datos finales para ser cargados en la base de datos de destino. La herramienta proporciona la capacidad de:

  • Compruebe los datos contra cientos o incluso miles de reglas de negocio, sin limitaciones de rendimiento.
  • Funciones para el error en el registro, registro de rechazo, y el control de flujo de ejecución.
  • Rico conjunto de funciones para la transformación de los datos que permitan:
    • Traducción de valores codificados (por ejemplo, si el sistema almacena la fuente 1 para encendido y de 2 para apagado, pero warehouse stores O para encendido y F para apagado).
    • Derivar un nuevo valor calculado (por ejemplo, sale_amount = Cantidad * UNIT_PRICE – discount_value).
    • Operaciones de búsqueda y validar los datos relevantes de las tablas o archivos de referencia para los que cambian lentamente dimensiones.
    • Anonimización, apoyando md5 y Whirlpool hashing algorithms.
    • Validación de datos simples o complejas. Si la validación falla, puede resultar en un rechazo total, parcial o nula de los datos.
    • Generar valores sustitutos-clave.

Load

The load phase stores the data into the end target, usually the data warehouse (DW) or a stage database.

Inserting new records or updating existing ones can be done searching the primary key columns. If the data loaded has a PK of an existing record, then the record is updated and if it’s a new PK, then the record is inserted. For optimizing performance, two different updating algorithms can be defined depending of the data type. For fact tables, first an insert is tried and if the PK exists then the update is done. For master tables, the first operation tried is the update and if no records are updated, then the insert is done.

The system provides with the capability to handle historical data as well. In this case, all changes in records are kept allowing to reproduce any previous report.

Target systems could be a database connected via JDBC, a file, or ever a streamed data seeded by posting to HTTP, by FTP or by TCP.

Integration with Informix IWA: After loading data in target Informix database, ETL process could automatically call the process for updating Warehouse Accelerator Datamart data.

ETL Performance

The tool supports massive parallel processing (MPP) for large data volumes. In any case, one should consider than Simplicity is also performance, and the One Step “Extract, apply transformation functions & load” method is the faster algorithm for ETL procedures.

In our test systems, a file with 1 million records can be extracted, anonymized with whirlpool methods, normalized and loaded into Database table in less than 8 minutes, without using parallelization.

Axional ROLAP Engine

The purpose of the ROLAP Engine is to respond to queries from cube end users. The OLAP queries are performed in the server side using Java interface. To increase performance, Axional ROLAP Engine may runs on specially configured server computers.

With its specific architecture, Axional ROLAP engine includes the following features:

  • Minimize the amount of data movement between RDBMS and client app by:
    • Storing (temp tables, derived tables) intermediate query results from multi-pass SQL and joining them in RDBMS.
    • Pushing all calculations to RDBMS.
    • Pushing all filtering and grouping to RDBMS.
    • Pushing all filtering and grouping on calculations to RDBMS.
  • Optimize SQL based on RDBMS type.
  • Support multi-pass SQL. This is required to answer analytical questions that cannot be answered in a single pass of SQL.
  • Handle normalized and de-normalized data models efficiently.
  • Automatically resolve typical start/snowflake query errors and conflicts.

Analytic models

El módulo Axional OLAP utiliza una visión multidimensional de los datos agregados para proporcionar un acceso rápido a la información estratégica para su posterior análisis. Los usuarios pueden obtener una perspectiva de datos a través de un acceso rápido y consistente, interactivo para una amplia variedad de posibles puntos de vista de la información. Esto permite que todos los de la organización puedan ver el data warehouse de la empresa desde su punto de vista particular.

Este módulo también proporciona a los usuarios la información que necesitan para tomar decisiones efectivas sobre las orientaciones estratégicas de la organización. Sus características van desde la navegación básica y la navegación, para cálculos complejos, a los análisis más serios como; la serie de tiempo. Quienes toman las decisiones adquieren experiencia con capacidades OLAP, y mueven el acceso de los datos de la información, al conocimiento.
El objetivo de la herramienta es convertir tus datos empresariales en inteligencia de negocios. Para lograr este objetivo, se utiliza una estructura pre-configurado datamart de datos que al mismo tiempo ofrece una configuración flexible.

El módulo Axional OLAP aísla a los usuarios de la sintaxis de consulta compleja, los diseños de modelado y elaborado se unen. La visión multidimensional de los datos proporciona la base para el procesamiento analítico a través del acceso de información flexible. Los usuarios son capaces de analizar datos a través de cualquier dimensión, a diferentes niveles de agregación, con la misma funcionalidad y facilidad.

Cubes

El módulo OLAP funciona en los hechos y los hechos son números. Un hecho podría ser un recuento de las ventas, la suma de los importes de ventas, o un promedio de los importes de ventas. Los hechos también son conocidos como medidas y están organizados en dimensiones que son formas en que los hechos pueden ser descompuestos. Por ejemplo, las ventas totales podrían ser divididas por la geografía. Del mismo modo, las ventas totales también podrían desglosarse por el tiempo. Las dimensiones tienen también jerarquías de niveles.

El conjunto de dimensiones y medidas se llama Cubo. Los cubos facilitan el análisis de datos de múltiples facetas en respuesta a las preguntas de negocio complejas. Debido a que pueden estar formados por más de tres dimensiones (hipercubo) y en profundidad se habilita el análisis, lo que permite a los usuarios obtener una visión de negocio completos y valiosos.

Axional Analytics permite un número prácticamente ilimitado de dimensiones que se añaden a la estructura de datos (OLAP cubo), lo que permite el análisis de datos detallada. Los analistas pueden ver conjuntos de datos de diferentes ángulos o pivotes.

Se utiliza una base de datos relacional que almacena directamente la información contenida en los diversos cubos (modelo ROLAP). Este enfoque se traduce en consultas OLAP nativas en las instrucciones SQL adecuadas. Gracias a la utilización de DB herramientas de alto rendimiento, tales como Informix IWA, este enfoque funciona tan bien como una base de datos MOLAP.

Este enfoque también permite una implementación sencilla de análisis en memoria que permiten un análisis más rápido, ideas rápidas e implicación de TI mínima. El enfoque de análisis en memoria elimina la necesidad de almacenar datos precalculados en forma de cubos OLAP o tablas agregadas. Ofrece a los usuarios de negocio un análisis más rápido, y el acceso a análisis de grandes conjuntos de datos, con mínimos requisitos de gestión de datos.

Con el proceso de ETL, se pueden crear varios cubos, cada uno con un conjunto específico de dimensiones y medidas más ajustados a las necesidades de un determinado grupo de usuarios. Con los cubos, los gerentes ganan la penetración en los datos a través de métodos rápidos, precisos y flexibles a diversas vistas de métricas de negocio, que se han transformado de datos brutos en información significativa.

Axional Analytics runs best on IBM IWA

En el mundo analítico, las consultas pueden ser una fuente de perdida de tiempo. Tiempo perdido esperando respuestas, es una pérdida de productividad. Como organizaciones acumulan más y más datos, incluso consultas básicas puede tomar una cantidad considerable de tiempo. Es por eso que Axional Analytics está totalmente integrado con IBM Warehouse Acelerador (aka IWA), la primera base de datos de columnas en memoria que puede escanear toneladas de datos en cuestión de segundos.

IBM Warehouse Accelerator es un sistema perfecto para implementar datawarehouses. Proporciona un rendimiento extremo, mientras que elimina la mayor parte de la sintonía necesaria por los sistemas de Data Warehouse de datos tradicionales.

El acelerador de IBM tiene esta impresionante características clave:

  • Proporciona aceleración sin sintonización manual para cada carga de trabajo. No necesita crear un índice, no necesita un índice de reorganización, no hay estadísticas para recoger, ninguna partición, ninguna sintonía, y sin gestión de almacenamiento.
  • Las tablas de resumen o vistas materializadas no son necesarios, usted puede ir directamente con tablas de hechos.
  • Escanea miles de millones de filas en cuestión de segundos. La profunda representación de datos en columnas, el procesamiento de consultas de datos comprimidos anula la necesidad de sintonía.
  • Rendimiento lineal. El rendimiento de las consultas depende del volumen de datos y no en la complejidad de la consulta.

Axional Analytics, también ofrece algunas características clave que permiten trabajar mejor y más integrado con el sistema de almacenes Informix:

  • Instantánea automática de datos ETL actualizado para Warehouse Accelerator
  • Optimización del estado SQL para asegurar la compatibilidad de IWA
  • Las advertencias sobre consultas con tabla o columnas que no están presentes en datamart

Client tools

Hay dos clientes OLAP diferentes que proporcionan una interfaz fácil de usar que recuperará automáticamente los datos de formato basados en las definiciones de modelos existentes, por cada consulta realizada por el usuario:

  • Agrupar
  • Profundizar: Ampliar en detalles sobre cierta parte del cubo
  • Explorar: detalles de agregación a un nivel resumido
  • Ordenar, llenar y explorar los datos de forma dinámica
  • Ver tabla de visualizaciones
  • Puede exportar los datos a Excel
  • Ordenación y filtrado avanzados

Analytics Web Console: Axional OLAP


Axional OLAP web client… Read more.

Axional Mobile OLAP


Axional Mobile OLAP Android™ client… Read more.