⾕

Int. Artificial  |  

Os principais tipos de Sparks são:

Spark Core: É o componente central que oferece funcionalidades básicas para o processamento distribuído de dados.

Spark SQL: Permite consultas SQL e processamento de dados estruturados no Spark, facilitando a integração com ferramentas e habilidades existentes em SQL.

Spark Streaming: Facilita o processamento de dados em tempo real, permitindo o processamento contínuo de fluxos de dados em pequenos lotes.

Spark MLlib: Biblioteca para aprendizado de máquina distribuído, oferecendo algoritmos e ferramentas para construir modelos de ML (Machine Learning) em grande escala.

Spark GraphX: Fornece ferramentas para processamento e análise de grafos distribuídos.

Apache Kafka: O Apache Kafka é uma plataforma de streaming distribuído que permite o transporte de grandes volumes de dados de forma eficiente e em tempo real. Ele fornece recursos de mensageria persistente, escalabilidade e tolerância a falhas, tornando-o ideal para construir pipelines de dados em tempo real e sistemas de processamento de eventos.

Apache Flink: O Apache Flink é um sistema de processamento de dados distribuído e de streaming que oferece baixa latência, alto throughput (taxa de transferência) e garante processamento exatamente uma vez.

Ele suporta processamento de dados em lote e em tempo real com uma API unificada e fornece suporte para consultas complexas, análises de dados em tempo real e processamento de eventos de alta velocidade.

Back Next