databricks-spark-structured-streaming

Name: databricks-spark-structured-streaming
Author: gabrielmoreira

Dados e Análise

Autor: gabrielmoreira

Este guia abrangente cobre o Spark Structured Streaming para cargas de trabalho de produção. Ele detalha a construção de pipelines de streaming, ingestão de Kafka, Modo em Tempo Real, gatilhos, operações com estado com watermarks, checkpoints, junções e escrita para múltiplos sinks.

16estrelas

Atualizado há 2 meses

Ver no GitHub ↗ Licença: MIT

Como adicionar

/plugin marketplace add gabrielmoreira/agent-skills-mirror

O comando exato pode variar conforme o repositório. Confira o README no GitHub.

Para o autor da skill

Cole no README do seu repo

Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.

[![Skillteca](https://www.skillteca.com.br/api/badge/databricks-spark-structured-streaming-gabrielmoreira/svg)](https://www.skillteca.com.br/skills/databricks-spark-structured-streaming-gabrielmoreira)

#ai

Skills relacionadas

Ver todas de Dados e Análise →

xlsx

153.1k

Use esta skill para qualquer tarefa que envolva arquivos de planilha como entrada ou saída principal, como abrir, ler, editar, corrigir, criar ou converter arquivos .xlsx, .xlsm, .csv ou .tsv.

Dados e Análise #xlsx por anthropics

how-it-works

83.4k

Esta skill explica como o claude-mem captura observações, quando a injeção de memória é ativada e onde seus dados são armazenados.

Dados e Análise #ai por thedotmack

weekly-digests

83.4k

Gera um resumo narrativo semanal da linha do tempo Claude-mem de um projeto, dividindo-a em arquivos por semana ISO e usando subagentes para produzir capítulos semanais. Ideal para "resumos semanais" ou "capítulos narrativos" do histórico de um projeto.

Dados e Análise #ai por thedotmack

mem-search

83.4k

Pesquisa o banco de dados de memória persistente entre sessões do claude-mem. Use para responder perguntas sobre soluções anteriores ou recuperar trabalho de sessões passadas.

Dados e Análise #ai por thedotmack

Alerta por categoria

Receba novas skills de Dados e Análise toda segunda

1 email curto, só com as skills novas de Dados e Análise. 4 minutos de leitura, sem spam, cancela com 1 clique.

Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.

Ler descrição completa

Spark Structured Streaming

Production-ready streaming pipelines with Spark Structured Streaming. This skill provides navigation to detailed patterns and best practices.

Quick Start

from pyspark.sql.functions import col, from_json

# Basic Kafka to Delta streaming
df = (spark
    .readStream
    .format("kafka")
    .option("kafka.bootstrap.servers", "broker:9092")
    .option("subscribe", "topic")
    .load()
    .select(from_json(col("value").cast("string"), schema).alias("dat

[Description truncada. Veja o README completo no GitHub.]

Compartilhar X LinkedIn