Apache Beam
Apache Beamは、ETL、バッチおよびストリーム処理を含むデータ処理パイプライン（英語版）を定義・実行するためのオープンソースの統合プログラミングモデルである。提供されているSDKの1つを使用してBeam Pipelinesと呼ばれるデータ処理パイプラインを定義し、Apache Flink（英語版）、Apache Samza（英語版）、Apache Spark、Google Cloud Dataflow（英語版）などのBeamがサポートするRunner（分散処理バックエンド）の1つを使用してパイプラインを実行する。
 | |
| 作者 | |
|---|---|
| 開発元 | Apache Software Foundation |
| 初版 | 2016年6月15日 |
| リポジトリ | Beam Repository |
| プログラミング 言語 | Java, Python, Go |
| 対応OS | クロスプラットフォーム |
| ライセンス | Apache License 2.0 |
| 公式サイト | beam |
歴史
Apache Beamは、Dataflowモデルの論文の実装の1つである。Dataflowモデルは、Googleでの分散処理の抽象化、特にFlumeJavaとMillwheelに関する過去の成果に基づいて設計されている。
2014年、Googleは、DataflowモデルのオープンSDK実装と、Dataflowをローカル（非分散）およびGoogle Cloud Platformサービス上で実行する環境をリリースした。
2016年、GoogleはコアSDK、ローカルランナーの実装、およびGoogle Cloud Platformのデータサービスにアクセスするための一連のIO（データコネクタ）をApache SoftwareFoundationに寄贈した。他の企業やコミュニティのメンバーは、既存の分散実行プラットフォームのRunnerや、Beam Runnerを既存のデータベース、Key-Valueストア、メッセージシステムと統合するための新しいIOをコントリビュートしている。さらに、Beamモデルに加えて特定のドメインのニーズをサポートするための新しいDSLが提案されている[要出典]。
関連項目
- Apache Software Foundationプロジェクトの一覧
出典
This article uses material from the Wikipedia 日本語 article Apache Beam, which is released under the Creative Commons Attribution-ShareAlike 3.0 license ("CC BY-SA 3.0"); additional terms may apply (view authors). コンテンツは、特に記載されていない限り、CC BY-SA 4.0のもとで利用可能です。 Images, videos and audio are available under their respective licenses.
®Wikipedia is a registered trademark of the Wiki Foundation, Inc. Wiki 日本語 (DUHOCTRUNGQUOC.VN) is an independent company and has no affiliation with Wiki Foundation.