PostgreSQLとPythonとSQL
6 likes4,828 views
SQLやDBの簡単な概要とPythonの親和性、FDW等について の資料です。 みんなのPython勉強会#19 で使用しました。 https://startpython.connpass.com/event/37958/
![33
3.Pythonで同じ処理をするなら
result = []
# col3==100のデータに絞込
for row in data:
if row["col3"] == 100:
result.append(row)
# col1でソート
result.sort(key=lambda x: x["col1"])
# 結果の表示
for row in result:
print row["col1"], row["col2"]](https://image.slidesharecdn.com/20161207stapyforupload-161207101229/85/PostgreSQL-Python-SQL-33-320.jpg)
![34
3.Pythonで同じ処理をするなら
result = []
# col3==100のデータに絞込
for row in data:
if row["col3"] == 100:
result.append(row)
# col1でソート
result.sort(key=lambda x: x["col1"])
# 結果の表示
for row in result:
print row["col1"], row["col2"]](https://image.slidesharecdn.com/20161207stapyforupload-161207101229/85/PostgreSQL-Python-SQL-34-320.jpg)
![35
3.Pythonで同じ処理をするなら
result = []
# col3==100のデータに絞込
for row in data:
if row["col3"] == 100:
result.append(row)
# col1でソート
result.sort(key=lambda x: x["col1"])
# 結果の表示
for row in result:
print row["col1"], row["col2"]](https://image.slidesharecdn.com/20161207stapyforupload-161207101229/85/PostgreSQL-Python-SQL-35-320.jpg)
![36
3.Pythonで同じ処理をするなら
result = []
# col3==100のデータに絞込
for row in data:
if row["col3"] == 100:
result.append(row)
# col1でソート
result.sort(key=lambda x: x["col1"])
# 結果の表示
for row in result:
print row["col1"], row["col2"]](https://image.slidesharecdn.com/20161207stapyforupload-161207101229/85/PostgreSQL-Python-SQL-36-320.jpg)
![37
3.Pythonで同じ処理をするなら
逆でも結果は
同じだが、遅くなる
開発者が最適な
手続きを考える
result = []
# col3==100のデータに絞込
for row in data:
if row["col3"] == 100:
result.append(row)
# col1でソート
result.sort(key=lambda x: x["col1"])
# 結果の表示
for row in result:
print row["col1"], row["col2"]](https://image.slidesharecdn.com/20161207stapyforupload-161207101229/85/PostgreSQL-Python-SQL-37-320.jpg)
![52
4.Multicorn
●
PythonでFDWを実装できるライブラリ
●
Multicornのクラスを継承して実装するだけ
from multicorn import ForeignDataWrapper
class ConstantForeignDataWrapper(ForeignDataWrapper):
def __init__(self, options, columns):
super(ConstantForeignDataWrapper, self).__init__(options, columns)
self.columns = columns
def execute(self, quals, columns):
for index in range(20):
line = {}
for column_name in self.columns:
line[column_name] = '%s %s' % (column_name, index)
yield line](https://image.slidesharecdn.com/20161207stapyforupload-161207101229/85/PostgreSQL-Python-SQL-52-320.jpg)
![[개인 프로젝트] 쿠버네티스를 이용한 개발환경 자동화 구축시스템 - 프로토타입](https://cdn.slidesharecdn.com/ss_thumbnails/srmproject-210620120212-thumbnail.jpg?width=560&fit=bounds)
![[DevGround] 린하게 구축하는 스타트업 데이터파이프라인](https://cdn.slidesharecdn.com/ss_thumbnails/devgroundkmongrevisedcraig190627finalscriptformatted-190828020444-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to PostgreSQLとPythonとSQL (20)
![[db tech showcase Tokyo 2015] A14:Amazon Redshiftの元となったスケールアウト型カラムナーDB徹底解説 その...](https://cdn.slidesharecdn.com/ss_thumbnails/dbts-tokyo-2015a14actian-matrix-insight-technology-150618094408-lva1-app6891-thumbnail.jpg?width=560&fit=bounds)
More from Satoshi Yamada (13)
PostgreSQLとPythonとSQL
- 3. 3 0.Who am I? http://enterprisezine.jp/dbonline/detail/8307?p=2 ● 山田聡@denzowill ● StartPythonClubスタッフ ● 株式会社アシスト勤務 ● DBエンジニア6年目 ● ノンプログラマ、趣味でPython ● PostgreSQLとOracleが担当
- 6. 6 1.データベース ● 軍事情報をあつめた基地が由来 ● 様々な目的で利用するため、整理統合されたデータの集合体 ● データ活用の基盤として存在 一元管理 共有利用 独立性
- 7. 7 1.データベース ● 軍事情報をあつめた基地が由来 ● 様々な目的で利用するため、整理統合されたデータの集合体 ● データ活用の基盤として存在 一元管理 共有利用 独立性 同じデータが 散ってるのつらい アプリとデータは お互いに疎でありたい みんなで 仲良くしたい
- 18. 18 2.PostgreSQLはPythonが大好き ● PL/Python ● SQL関数がPythonでかける ● PgAdmin4 ● 管理ツールはFlask製 sampledb=# CREATE OR REPLACE FUNCTION hello_python(hello_count int) sampledb-# RETURNS SETOF text sampledb-# AS $$ sampledb$# sampledb$# for n in range(hello_count): sampledb$# yield "HELLO WORLD" sampledb$# sampledb$# $$ LANGUAGE plpythonu; CREATE FUNCTION sampledb=# select hello_python(5); hello_python -------------- HELLO WORLD HELLO WORLD HELLO WORLD HELLO WORLD HELLO WORLD (5 rows)
- 22. 22 射影 3.SQLの基本 SELECT col1, col2 FROM table1; tabl1のすべての行のcol1,col2を 表示してください。
- 23. 23 選択 3.SQLの基本 SELECT col1, col2 FROM table1 WHERE col3 = 100; tabl1のcol3が100の行について col1,col2を表示してください。
- 24. 24 ソート 3.SQLの基本 SELECT col1, col2 FROM table1 WHERE col3 = 100 ORDER BY col1; tabl1のcol3が100の行について col1,col2をcol1の順番で 表示してください。
- 25. 25 結合 3.SQLの基本 SELECT table1.col1, table2.col1 FROM table1 JOIN table2 ON table1.co2 = tabl2.col3 table1のcol2とtable2のcol3について 同じ行を取得して、table1のcol1と table2のcol1を表示してください。
- 26. 26 結合 3.SQLの基本 SELECT table1.col1, table2.col1 FROM table1 JOIN table2 ON table1.co2 = table2.col3 JOIN table3 ON table2.col2 = table3.col2; table1のcol2とtable2のcol3について 同じ行を取得して、さらにその行のcol2と table3のcol2が同じ行についてtable1の col1とtable2のcol1を表示してください。
- 27. 27 集約 3.SQLの基本 SELECT col1, count(*) FROM table1 GROUP BY col1; tabl1についてcol1が同じものを まとめて、それぞれについて行数を 表示(count(*))してください。
- 28. 28 3.SQLの基本 col1 | col2 | col3 -----------+------+------ APPLE | 1 | 100 APPLE | 2 | 100 APPLE | 2 | 300 PEN | 1 | 100 PEN | 1 | 200 PINEAPPLE | 1 | 200 PINEAPPLE | 1 | 100 PINEAPPLE | 2 | 100 PINEAPPLE | 2 | 300 PINEAPPLE | 2 | 400 col1 | count -----------+------- PEN | 2 APPLE | 3 PINEAPPLE | 5
- 31. 31 3.手続き型 col1 | col2 | col3 -----------+------+------ APPLE | 1 | 100 APPLE | 2 | 100 APPLE | 2 | 300 PEN | 1 | 100 PEN | 1 | 200 PINEAPPLE | 1 | 200 PINEAPPLE | 1 | 100 PINEAPPLE | 2 | 100 PINEAPPLE | 2 | 300 PINEAPPLE | 2 | 400 [ { "col1": "APPLE", "col2": 1, "col3": 100, }, { "col1": "APPLE", "col2": 2, "col3": 100, }, : Pythonで扱う想定でディクショナリにしたもの
- 32. 32 3.SQLで処理したなら sampledb=# SELECT col1, col2 FROM table1 sampledb-# WHERE col3 = 100 ORDER BY col1; col1 | col2 -----------+------ APPLE | 1 APPLE | 2 PEN | 1 PINEAPPLE | 1 PINEAPPLE | 2 (5 rows)
- 33. 33 3.Pythonで同じ処理をするなら result = [] # col3==100のデータに絞込 for row in data: if row["col3"] == 100: result.append(row) # col1でソート result.sort(key=lambda x: x["col1"]) # 結果の表示 for row in result: print row["col1"], row["col2"]
- 34. 34 3.Pythonで同じ処理をするなら result = [] # col3==100のデータに絞込 for row in data: if row["col3"] == 100: result.append(row) # col1でソート result.sort(key=lambda x: x["col1"]) # 結果の表示 for row in result: print row["col1"], row["col2"]
- 35. 35 3.Pythonで同じ処理をするなら result = [] # col3==100のデータに絞込 for row in data: if row["col3"] == 100: result.append(row) # col1でソート result.sort(key=lambda x: x["col1"]) # 結果の表示 for row in result: print row["col1"], row["col2"]
- 36. 36 3.Pythonで同じ処理をするなら result = [] # col3==100のデータに絞込 for row in data: if row["col3"] == 100: result.append(row) # col1でソート result.sort(key=lambda x: x["col1"]) # 結果の表示 for row in result: print row["col1"], row["col2"]
- 37. 37 3.Pythonで同じ処理をするなら 逆でも結果は 同じだが、遅くなる 開発者が最適な 手続きを考える result = [] # col3==100のデータに絞込 for row in data: if row["col3"] == 100: result.append(row) # col1でソート result.sort(key=lambda x: x["col1"]) # 結果の表示 for row in result: print row["col1"], row["col2"]
- 44. 44 4.FDW Foreign Data Wrapper 外部データラッパー: PostgreSQL 9.1から導入された拡張機能 外部のDBや、CSVといった外部リソースを PostgreSQLのテーブルとして扱う機能。 様々なリソースにSQLで透過的にアクセス できます。
- 45. 45 4.FDW SQL FDW
- 52. 52 4.Multicorn ● PythonでFDWを実装できるライブラリ ● Multicornのクラスを継承して実装するだけ from multicorn import ForeignDataWrapper class ConstantForeignDataWrapper(ForeignDataWrapper): def __init__(self, options, columns): super(ConstantForeignDataWrapper, self).__init__(options, columns) self.columns = columns def execute(self, quals, columns): for index in range(20): line = {} for column_name in self.columns: line[column_name] = '%s %s' % (column_name, index) yield line