PostgreSQL画像データ収集・格納
Download as PPTX, PDF1 like5,478 views
2015/12/12 PostgreSQLアンカンファレンス講演資料
![<?php
$filename="https://www.google.co.jp/search?as_st=y&tbm=isch&hl=ja&as_q=%E3%81%86%E3%81%
95%E3%81%8E&as_epq=&as_oq=&as_eq=&cr=&as_sitesearch=&safe=images&tbs=sur:f#q=%E3%8
1%86%E3%81%95%E3%81%8E&as_st=y&hl=ja&tbs=sur:f,qdr:w&tbm=isch&imgrc=_";
$pattern = '/img height=".*?" src=.*?alt="「うさぎ」の画像検索結果"/';
$html = file_get_contents($filename);
$path = '/home/postgres/';
mb_language("Japanese");
$subject = mb_convert_encoding($html,'UTF-8','auto');
preg_match_all($pattern, $subject, $matched);
for( $i = 0; $i < count($matched[0]) ; $i++){
$yobun = '/" width=".*?" alt="「うさぎ」の画像検索結果"/';
$yobun2 = '/img height=".*?" src="/';
$data = preg_replace($yobun, "", $matched[0][$i]);
$data = preg_replace($yobun2, "", $data);
$image = file_get_contents($data);
file_put_contents($path.$i,$image);
$con = pg_connect("dbname=postgres user=postgres");
$sql = "INSERT INTO image VALUES(lo_import('".$path.$i."'));";
pg_set_client_encoding($con, "UTF-8");
$res = pg_query($con,$sql);
pg_close($con);
}](https://image.slidesharecdn.com/postgresql-151212080706/85/PostgreSQL-17-320.jpg)
PostgreSQL画像データ収集・格納
- 12. 画像を自動で抜き出す 地道に正規表現でがんばる <img height="90" src="https://encrypted- tbn2.gstatic.com/images?q=tbn:ANd9GcTwTK9 5XZfQyU-HGdMSgxUy78nhw- XdpkcA3qwL0fv7sBJm-EOuZ1Nnicw" width="136" alt="「うさぎ」の画像検索結果"> →リンクから、画像をローカルにダウンロード！
- 14. 画像をどうやって管理する？ 方法は基本３つ 説明 検索性能 備考 bytea PostgreSQLの型の 1つ。バイナリを保 存する。 △ データ量が多くなる と性能劣化。 ラージオブジェクト 大きなデータを扱 うための仕組み ◯ lo_import()などを使 う。 外部ファイル 画像自体はDBに保 存せず、画像への パスを保存。 ◯ 画像自体の更新は DBで管理できない。
- 15. bytea vs large Object https://www.microolap.com/products/connectivity/postgresdac/help/tipsandtrick s_byteavsoid.htm
- 16. 今回実施した手順 ラージオブジェクトのOID保存テーブルを作成 =# create table image(object_id oid); ファイルからラージオブジェクトをimport =# insert into image values (lo_import('/home/postgres/1'));
- 17. <?php $filename="https://www.google.co.jp/search?as_st=y&tbm=isch&hl=ja&as_q=%E3%81%86%E3%81% 95%E3%81%8E&as_epq=&as_oq=&as_eq=&cr=&as_sitesearch=&safe=images&tbs=sur:f#q=%E3%8 1%86%E3%81%95%E3%81%8E&as_st=y&hl=ja&tbs=sur:f,qdr:w&tbm=isch&imgrc=_"; $pattern = '/img height=".*?" src=.*?alt="「うさぎ」の画像検索結果"/'; $html = file_get_contents($filename); $path = '/home/postgres/'; mb_language("Japanese"); $subject = mb_convert_encoding($html,'UTF-8','auto'); preg_match_all($pattern, $subject, $matched); for( $i = 0; $i < count($matched[0]) ; $i++){ $yobun = '/" width=".*?" alt="「うさぎ」の画像検索結果"/'; $yobun2 = '/img height=".*?" src="/'; $data = preg_replace($yobun, "", $matched[0][$i]); $data = preg_replace($yobun2, "", $data); $image = file_get_contents($data); file_put_contents($path.$i,$image); $con = pg_connect("dbname=postgres user=postgres"); $sql = "INSERT INTO image VALUES(lo_import('".$path.$i."'));"; pg_set_client_encoding($con, "UTF-8"); $res = pg_query($con,$sql); pg_close($con); }
- 20. おわり ZZZ