「これを買っている人はこれも買っています」実装してみた PHP side
- 2. 長谷川智希 とも き @tomzoh とむぞう 趣味 Webサイト開発, iOSアプリ開発 レンタルカートレース, ビール, 電子工作 (mbed), … TOMZOH デジタルサーカス（株） 副団長CTO Facebook CakePHP iOS
- 3. デジタルサーカス（株） ・ Webサイト開発 ・ スマホアプリ開発 ・ 自社サービス （ ） （iOS, Android) （http://appbuilder.jp） Twitter: @tomzoh
- 6. Toby Segaran 著 當山 仁健、鴨澤 眞夫 訳 出版社: オライリージャパン 2008年07月 発行 392ページ ISBN978-4-87311-364-7 http://www.amazon.co.jp/dp/4873113644
- 8. # 映画の評者といくつかの映画に対する彼らの評点のディクショナリ critics={ 'Lisa Rose': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5, 'Just My Luck': 3.0, 'Superman Returns': 3.5, 'You, Me and Dupree': 2.5, 'The Night Listener': 3.0}, 'Gene Seymour': {'Lady in the Water': 3.0, 'Snakes on a Plane': 3.5, 'Just My Luck': 1.5, 'Superman Returns': 5.0, 'The Night Listener': 3.0, 'You, Me and Dupree': 3.5}, 'Michael Phillips': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.0, 'Superman Returns': 3.5, 'The Night Listener': 4.0}, 'Claudia Puig': {'Snakes on a Plane': 3.5, 'Just My Luck': 3.0, 'The Night Listener': 4.5, 'Superman Returns': 4.0, 'You, Me and Dupree': 2.5}, 'Mick LaSalle': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0, 'Just My Luck': 2.0, 'Superman Returns': 3.0, 'The Night Listener': 3.0, 'You, Me and Dupree': 2.0}, 'Jack Matthews': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0, 'The Night Listener': 3.0, 'Superman Returns': 5.0, 'You, Me and Dupree': 3.5}, 'Toby': {'Snakes on a Plane':4.5,'You, Me and Dupree':1.0,'Superman Returns’:4.0} }
- 16. ユークリッド距離 63 2 3
- 17. ユークリッド距離 sqrt((6-3)^2 + (2-3)^2) = 3.16… 63 2 3 3.16…
- 18. ユークリッド距離 John Steve Tim Philip The Shawshank Redemption 1 1 2 2 The Man in the Iron Mask 2 1 4 1 ID4 2 3 The Devil Wears Prada 3 5 4
- 19. ユークリッド距離 John Steve Tim Philip The Shawshank Redemption 1 1 2 2 The Man in the Iron Mask 2 1 4 1 ID4 2 3 The Devil Wears Prada 3 5 4 JohnとSteveの距離:
- 20. ユークリッド距離 John Steve Tim Philip The Shawshank Redemption 1 1 2 2 The Man in the Iron Mask 2 1 4 1 ID4 2 3 The Devil Wears Prada 3 5 4 JohnとSteveの距離: sqrt((1-1)^2 + (2-1)^2 + (2-0)^2 + (3-5)^2))
- 21. ユークリッド距離 John Steve Tim Philip The Shawshank Redemption 1 1 2 2 The Man in the Iron Mask 2 1 4 1 ID4 2 3 The Devil Wears Prada 3 5 4 JohnとSteveの距離: sqrt((1-1)^2 + (2-1)^2 + (2-0)^2 + (3-5)^2)) ( - )^2 + ( - )^2 + ( - )^2 + ( - )^2
- 22. John Steve Tim Philip John - 3 4.2 2 Steve * - 5.9 3.3 Tim * * - 5.8 Philip * * * -
- 23. John Steve Tim Philip John - 3 4.2 2 Steve * - 5.9 3.3 Tim * * - 5.8 Philip * * * - John Steve Tim Philip John - 3 4.2 2 Steve * - 5.9 3.3 Tim * * - 5.8 Philip * * * - TimにはJohnが⾒た映画を推薦すれば良さそう
- 24. John Steve Tim Philip The Shawshank Redemption 1 1 2 2 The Man in the Iron Mask 2 1 4 1 ID4 2 3 The Devil Wears Prada 3 5 4
- 25. John Steve Tim Philip The Shawshank Redemption 1 1 2 2 The Man in the Iron Mask 2 1 4 1 ID4 2 3 The Devil Wears Prada 3 5 4 John Steve Tim Philip The Shawshank Redemption 1 1 2 2 The Man in the Iron Mask 2 1 4 1 ID4 2 3 The Devil Wears Prada 3 5 4
- 27. 良い映画ですよね😇
- 28. 観てない？
- 30. 話を戻して…
- 34. ⭐ Repo 88,811 twbs/bootstrap 45,137 vhf/free-programming-books 44,106 angular/angular.js 43,279 mbostock/d3 37,667 nodejs/node-v0.x-archive 36,648 jquery/jquery 31,681 h5bp/html5-boilerplate 31,461 FreeCodeCamp/FreeCodeCamp 31,080 facebook/react 29,881 robbyrussell/oh-my-zsh 29,651 meteor/meteor 29,413 github/gitignore 28,336 rails/rails 27,248 torvalds/linux 27,111 Homebrew/homebrew
- 35. User mvied dcwatson christophwille rpoisel victoriafrench runcom brynary marceloemanoel ysrb Caged anotherjesse kevwil rsanheim BrianTheCoder lancecarlson kvnsmth josh ⭐ Repo 88,811 twbs/bootstrap 45,137 vhf/free-programming-books 44,106 angular/angular.js 43,279 mbostock/d3 37,667 nodejs/node-v0.x-archive 36,648 jquery/jquery 31,681 h5bp/html5-boilerplate 31,461 FreeCodeCamp/FreeCodeCamp 31,080 facebook/react 29,881 robbyrussell/oh-my-zsh 29,651 meteor/meteor 29,413 github/gitignore 28,336 rails/rails 27,248 torvalds/linux 27,111 Homebrew/homebrew
- 36. GitHubのデータ数
- 37. リポジトリ 約1千400万
- 38. リポジトリ 約1千400万 ユーザ 約1千600万
- 39. mvied dcwatson rpoisel ysrb twbs/bootstrap vhf/free-programming-books angular/angular.js : ⭐ ⭐ ⭐ ⭐ ⭐ ⭐⭐ ⭐
- 40. mvied dcwatson rpoisel ysrb twbs/bootstrap vhf/free-programming-books angular/angular.js : ユーザ 約1千600万 ⭐ ⭐ ⭐ ⭐ ⭐ ⭐⭐ ⭐
- 41. mvied dcwatson rpoisel ysrb twbs/bootstrap vhf/free-programming-books angular/angular.js : ユーザ 約1千600万リポジトリ約1千400万 ⭐ ⭐ ⭐ ⭐ ⭐ ⭐⭐ ⭐
- 42. リポジトリとリポジトリの距離を計算 (14,000,000 x 14,000,000 - 14,000,000) / 2 = 100兆回の組合せ計算 計算1回あたり 16,000,000回の2乗計算 mvied dcwatson rpoisel ysrb twbs/bootstrap vhf/free-programming-books angular/angular.js : ユーザ 約1千600万リポジトリ約1千400万 ⭐ ⭐ ⭐ ⭐ ⭐ ⭐⭐ ⭐
- 43. リポジトリとリポジトリの距離を計算 (14,000,000 x 14,000,000 - 14,000,000) / 2 = 100兆回の組合せ計算 計算1回あたり 16,000,000回の2乗計算 mvied dcwatson rpoisel ysrb twbs/bootstrap vhf/free-programming-books angular/angular.js : ユーザ 約1千600万リポジトリ約1千400万 ⭐ ⭐ ⭐ ⭐ ⭐ ⭐ 😱つらい ⭐ ⭐
- 44. じゃあどうしたか
- 45. リポジトリ ⭐ スターを付けたユーザの一覧 twbs/bootstrap 88,811 mvied dcwatson ysrb … vhf/free-programming-books 45,137 mvied dcwatson rpoisel … angular/angular.js 44,106 dcwatson ysrb … :
- 46. リポジトリ ⭐ スターを付けたユーザの一覧 twbs/bootstrap 88,811 mvied dcwatson ysrb … vhf/free-programming-books 45,137 mvied dcwatson rpoisel … angular/angular.js 44,106 dcwatson ysrb … : リポジトリ350件☆6,700以上ぐらい
- 47. リポジトリ ⭐ スターを付けたユーザの一覧 twbs/bootstrap 88,811 mvied dcwatson ysrb … vhf/free-programming-books 45,137 mvied dcwatson rpoisel … angular/angular.js 44,106 dcwatson ysrb … : リポジトリ350件☆6,700以上ぐらい ユーザ 最⼤88,811
- 48. リポジトリ ⭐ スターを付けたユーザの一覧 twbs/bootstrap 88,811 mvied dcwatson ysrb … vhf/free-programming-books 45,137 mvied dcwatson rpoisel … ・ スターを付けている: 1 付けていない: 0 ・ リポジトリ間のユークリッド距離を計算
- 49. twbs/bootstrap vhf/free- programming-books angular/angular.js … twbs/bootstrap - 0.01904850 0.00492629 vhf/free- programming-books * - 0.00492461 angular/angular.js * * - : ユークリッド距離
- 50. GitHub recommender http://ghrec.hasegawa-tomoki.com ・ GitHubのユーザ名を⼊⼒すると おすすめリポジトリを表⽰ ・ APIで⭐を付けているリポジトリ取得 → そのリポジトリに似ているリポジトリを推薦
- 52. アーキテクチャ
- 53. GitHubのユーザ名
- 56. GitHub recommender http://ghrec.hasegawa-tomoki.com ・ 取得: ⭐数上位6,800リポジトリ ・ 計算: ⭐数上位350リポジトリ
- 57. GitHub recommender http://ghrec.hasegawa-tomoki.com ・ 取得: ⭐数上位6,800リポジトリ ・ 計算: ⭐数上位350リポジトリ ・ 計算量ナメてて間に合わなかった
- 58. GitHub recommender http://ghrec.hasegawa-tomoki.com ・ 取得: ⭐数上位6,800リポジトリ ・ これが O(n^2) というやつか… ・ 計算: ⭐数上位350リポジトリ ・ 計算量ナメてて間に合わなかった
- 59. わかったこと ・ APIでデータを取るのにすごく時間がかかる。 ・ リポジトリ間の距離を計算するのにすごく時間がかかる。 ・ このクラスの計算量になると最初からまじめにプログラム をチューニングしないといつまでたっても終わらない。 ・ memcachedの圧縮は素晴らしい。 ・ 超簡単な割にそれなりにそれっぽい結果が出るので楽 しい。
- 60. おまけ
- 61. どの程度「それらしい」か
- 65. 切り出したい！
- 66. GitHub API ・ 時間あたりの利⽤可能数が制限されている。 ・ レイテンシは1秒ぐらい。 ・ 全てのレコードが取得できる訳では無い。 ・ ページ数を指定して取得することになるけど「これ以上は取れないよ」とレ スポンスが帰ってくる。 ・ 「リポジトリをスター数の降順で」は結構⾯倒。 ・ 検索条件にリポジトリ作成⽇時、スター数を⼊れて複数回コール。