Design pattern in presto source code
0 likes1,599 views
JJUG CCC 2017 Fall http://www.java-users.jp/ccc2017fall/ PrestoはDesign Patternを幅広く使っている、ソースコードは理解しやすいです。 Builder、Factory、Singleton、Iterator、Interpreter、Template Method、VisitorなどのDesign Patternを活用しています。 今回はTemplate Method、Visitorを中心に、この２つDesign Patternの概念・使い方とPrestoソースコードの実例を紹介します。
![Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Design Patterns in presto
8
Source:[Head First Design Patterns] - O'Reilly Media
オブジェクトの生成に関するパターン
プログラムの構造に関するパターン
オブジェクトの振る舞いに関するパターン](https://image.slidesharecdn.com/design-171120040754/85/Design-pattern-in-presto-source-code-8-320.jpg)
Design pattern in presto source code
- 1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 2017年11月20日 ヤフー株式会社 クエリエンジンチーム 曾臻 [email protected] Design patterns in presto
- 2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Agenda 2 • 自己紹介 • Presto紹介 • Design Patterns in presto • Template Method • Visitor
- 3. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自己紹介 名前 ： 曾 臻 所属 ：ヤフー株式会社 D&Sソリューション 統括本部 クエリエンジン 経歴 : Presto開発・運用 広告システム開発 SIer 3
- 4. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Agenda 4 • 自己紹介 • Presto紹介 • Design Patterns in presto • Template Method • Visitor
- 5. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Presto紹介 • 100% オープンソースの分散式ANSI SQL クエリエン ジン • Facebookが公開した • パフォーマンス＆スケーラブル • Hadoopだけではなく、違うプラットフォームのデー タもアクセス可能 • Apache licensed, hosted on GitHub 5
- 6. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Agenda 6 • 自己紹介 • Presto紹介 • Design Patterns in presto • Template Method • Visitor
- 7. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Design Patterns in presto PrestoはBuilder、Factory、Iterator、 Singletonなどのパターンを活用してい る。 今回は主にTemplate Methodと Visitorパターンを紹介したい。 7
- 8. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Design Patterns in presto 8 Source:[Head First Design Patterns] - O'Reilly Media オブジェクトの生成に関するパターン プログラムの構造に関するパターン オブジェクトの振る舞いに関するパターン
- 9. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Agenda 9 • 自己紹介 • Presto紹介 • Design Patterns in presto • Template Method • Visitor
- 10. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Methodとは何？ 定義： ある処理のおおまかなアルゴリズムをあ らかじめ決めておいて、そのアルゴリズ ムの具体的な設計をサブクラスに任せる ことである。 10 Source : https://ja.wikipedia.org/wiki/Template_Method_%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3
- 11. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method例１ Template Method パターンの目的は、ある 処理のおおまかなアルゴリズムをあらかじ め決めておいて、そのアルゴリズムの具体 的な設計をサブクラスに任せることである。 11
- 12. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method例１ 12 https://gist.github.com/zz22394/1e5a097253db10f606dbbed8075c00f5 具象クラスは複数個作って良い
- 13. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Presto • Prestoソースコードの中のTemplate Method パターンを分析してみる。 • AbstractOperatorBenchmark • AbstractArrayBlock 13
- 14. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Presto 14 AbstractOperatorBenchmark
- 15. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Presto 15
- 16. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Presto 16
- 17. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Presto 17
- 18. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Presto 18
- 19. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Presto 19
- 20. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Java • JavaのTemplate Methodの実例を話す • HttpServlet • JUnit 20
- 21. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Java 21 http://www.codejava.net/java-ee/servlet/uml-class-diagram-of-httpservlet-api
- 22. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Java 22
- 23. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Java 23
- 24. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Java 24
- 25. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Java 25 • Junit http://junit.sourceforge.net/doc/cookstour/cookstour.htm
- 26. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method in Java 26
- 27. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Template Method のまとめ 27 • 抽象クラスのテンプレートでアルゴリズム の不変な部分を実装し、具象クラス内で 可変な部分を実装。 • 共通処理は抽象クラスに集約されるので、 ソースコードが再利用される
- 28. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Agenda 28 • 自己紹介 • Presto紹介 • Design Patterns in presto • Template Method • Visitor
- 29. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンとは？ 29 Visitor パターンは、オブジェクト指向プログラミング およびソフトウェ ア工学 において、 アルゴリズムをオブジェクトの構造から分離するための デザインパターンである。分離による実用的な結果として、既存のオブ ジェクトに対する新たな操作を構造を変更せずに追加することができる。 基本的には Visitor パターンは一群のクラスに対して新たな仮想関数をク ラス自体を変更せずに追加できるようにする。そのために、全ての仮想関 数を適切に特化させた Visitor クラスを作成する。Visitor はインスタンス への参照を入力として受け取り、ダブルディスパッチを用いて目的を達す る。
- 30. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンクラス図 30 https://ja.wikipedia.org/wiki/Visitor_%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3
- 31. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンの例１ 31 Visitor:アルゴリズムをオブジェクトの構造か ら分離する 練習問題： 車Objectがある。車の運転と検査仕組みを それぞれ書く。
- 32. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンの例１ 32
- 33. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンの例１ 33
- 34. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンの例１ 34
- 35. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンの例１ 35 InspectVisitor/DriveVisitorがそれぞれの形で visitXXXメソッドを実装した
- 36. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンの例１ 36 InspectVisitor/DriveVisitorがそれぞれの形で visitXXXメソッドを実装した
- 37. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンの例１ 37 メリット：データ構造と処理が分離された。 ある日「洗車機能を追加したい」 と言われたら、新しいVisitorで簡単に対応できる。
- 38. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 38 • Visitor パターン例 • Visitor in presto
- 39. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 39 • Prestoの実行計画生成の流れ
- 40. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 40
- 41. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 41 背景：NodeのAST（抽象文法木）はどうやっ て作られた？ 例：あるSQL文 SELECT ROW_NO,START_TIME FROM TBL_01
- 42. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 42 ANTLR4
- 43. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 43
- 44. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 44
- 45. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 45
- 46. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 46
- 47. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 47
- 48. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 48
- 49. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor in presto 49
- 50. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Visitor パターンのまとめ 50 • 複雑なパターン • 利用のハードルは比較的に高い • 向いているユースケース：データオブジェ クト構成が大きく変わらない、且つデータ オブジェクトに対しての操作がよく変わる （あるいは複数パターンの操作がある）
- 51. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. EOP