关于 .avro

Avro menggunakan JSON untuk mendefinisikan schema dan encoding biner untuk data. Fitur: serialisasi/deserialisasi sangat cepat, kompresi efisien untuk data terstruktur, dan schema evolution (menambah/mengubah kolom tanpa breaking changes). Digunakan oleh: Apache Kafka (default format messages), Apache Hadoop (Avro data files), Apache Spark, dan layanan data streaming. Keunggulan: schema embedded dalam file (self-describing), kompatibilitas forward/backward antar versi schema, dan ukuran file kecil. Avro files (.avro) berisi: header (schema + metadata) dan data blocks (encoded records). Kekurangan: kurang populer dari Parquet untuk query analitik, dan tidak mendukung columnar access seperti Parquet. Avro sangat ideal untuk: event logging, data pipeline, message queues, dan komunikasi antar microservices.

支持的软件

  • Apache Avro Tools 免费
  • Confluent Schema Registry 免费
  • Pandas (Python) 免费

替代格式

.parquet .json .protobuf .thrift