201505 PostgreSQLアンカンファレンス(PL/Pythonで作るWEBアプリ)
0 likes1,351 views
2015/05/30に行われたPostgreSQLアンカンファレンスでの 資料です。 PL/Python + bottle.py でWEBアプリを作る話です
![プレースホルダーを使って実行す
る場合
CREATE FUNCTION pystrip(x text)
RETURNS text
AS $$
target_query = "select empno from emp where ename=$1"
plan = plpy.prepare(target_query,["text"])
r_set = plpy.execute(plan, [ "SMITH" ])
return r_set[0]["empno"]
$$ LANGUAGE plpythonu;
直接実行する場合
CREATE FUNCTION pl_py_test(x text)
RETURNS text
AS $$
r_set = plpy.execute("select empno from emp where ename='SMITH'")
return r_set[0]["empno"]
$$ LANGUAGE plpythonu;](https://image.slidesharecdn.com/2015pgpg2layer-150604034748-lva1-app6891/85/201505-PostgreSQL-PL-Python-WEB-18-320.jpg)
![対処
そうだJSONにしよう
元クエリをjson_aggでラップ
戻り値はかならずJSON
dblink('dbname=pg_2_layer', 'select json_agg(t) from (元クエリ) t')
AS t(result json)
# DBLINKで自律型トランザクションとする
# 型にしばられないため、json_aggでラップしている
# 戻りは全部JSON
def do_query_over_dblink(v_query_string):
# DBLINKの大枠
base_query = "SELECT * FROM dblink('host=%s port=%s dbname=%s user=%s', %s) AS t(result json)
last_query = base_query % (
DB_HOST,
DB_PORT,
DB_NAME,
DB_USER,
plpy.quote_literal("select json_agg(t) from (" + v_query_string+ ") t") # クエリも引数なので
)
plpy.log( last_query)
r_set = plpy.execute(last_query)
plpy.log(r_set)
# jsonで戻しても取得時はstrになってたのでstrとして統一
result_json_str = "[]"
if r_set[0]["result"] is not None:
result_json_str = r_set[0]["result"]
# 利用側の利便性を考えてjsonで戻す](https://image.slidesharecdn.com/2015pgpg2layer-150604034748-lva1-app6891/85/201505-PostgreSQL-PL-Python-WEB-38-320.jpg)
201505 PostgreSQLアンカンファレンス(PL/Pythonで作るWEBアプリ)
- 2. who am i 名前:山田 聡 会社:アシスト 仕事:ポスグレとオラクルのサポートしてます 年齢:社会人5年目(ポスグレ4年生)
- 6. クラサバ クライアントとデータベースが直 ビジネスロジックはクライアント側中心 graph LR id1(クライアント ロジック)-->id2(データベース) style id1 fill:#955,stroke:#111,stroke- width:4px; style id2 fill:#559,stroke:#f66,stroke-width:2px;
- 7. 3層アプリケーション 間にWEB/APサーバ増えた クライアント側はブラウザ ビジネスロジックはWEB/APサーバ graph LR id1(クライアント: ブラウザ)-->id2(WEBサーバ: ロジック) id2-->id3(DB) style id1 fill:#955,stroke:#111,stroke- width:4px; style id2 fill:#555,stroke:#111,stroke-width:4px; style id3 fill:#559,stroke:#f66,stroke-width:2px;
- 9. そうだ2層に戻ろう
- 10. できあがったもの
- 11. PG2LAYER
- 13. PG2LAYER PostgreSQL Two Layer Management System 管理用のダッシュボード クエリ結果をJSONで戻すAPIを提供 普通のWEBアプリに見える何か
- 20. PG2LAYER 構成 でも2層構造 graph LR id1(クライアント: ブラウザ)-->id2(DBサーバ: ロジック) style id1 fill:#955,stroke:#111,stroke-width:4px; style id2 fill:#555,stroke:#111,stroke-width:4px;
- 21. 低依存性 (bottole.py /DBLINK / ドライバ不要) 低レイヤー (ブラウザ <-> データベース) 低管理コスト (DBのバックアップ = APのバックアップ, htmlファイル レス)
- 27. 問題その1 ImportError: No module named bottole カレントに配置したbottole.pyが読み込めない 普通はカレントディレクトリは指定しなくてもいい PostgreSQLの子プロセスは$PGDATAがカレント pg2layer_db=# CREATE OR REPLACE FUNCTION test() RETURNS text AS pg2layer_db# $$ pg2layer_db$# pg2layer_db$# import bottole pg2layer_db$# $$ pg2layer_db# LANGUAGE 'plpythonu' VOLATILE; CREATE FUNCTION pg2layer_db=# pg2layer_db=# select test(); ERROR: ImportError: No module named bottole CONTEXT: Traceback (most recent call last): PL/Python function "test", line 3, in <module> import bottole PL/Python function "test"
- 35. 原因 不明(多分問題2と同じ?)
- 37. 問題4 DBLINK経由のクエリで列リストが不定 APIでは列リストをURLで指定する実装 url query /api/*/hoge -> select * from hoge /api/col1,col2/hoge -> select col1,col2 from hoge DBLINKは戻り値のデータ型を明示しないといけない
- 38. 対処 そうだJSONにしよう 元クエリをjson_aggでラップ 戻り値はかならずJSON dblink('dbname=pg_2_layer', 'select json_agg(t) from (元クエリ) t') AS t(result json) # DBLINKで自律型トランザクションとする # 型にしばられないため、json_aggでラップしている # 戻りは全部JSON def do_query_over_dblink(v_query_string): # DBLINKの大枠 base_query = "SELECT * FROM dblink('host=%s port=%s dbname=%s user=%s', %s) AS t(result json) last_query = base_query % ( DB_HOST, DB_PORT, DB_NAME, DB_USER, plpy.quote_literal("select json_agg(t) from (" + v_query_string+ ") t") # クエリも引数なので ) plpy.log( last_query) r_set = plpy.execute(last_query) plpy.log(r_set) # jsonで戻しても取得時はstrになってたのでstrとして統一 result_json_str = "[]" if r_set[0]["result"] is not None: result_json_str = r_set[0]["result"] # 利用側の利便性を考えてjsonで戻す
- 43. ctrl+c pg2layer_db=# select start_bottole_httpd(1192); ^CCancel request sent ^CCancel request sent
- 46. 落ちないorz
- 50. 終わり