MySQL Innovation & Cloud Day - Document Store avec MySQL HeatWave Database Service

Frédéric Descamps
Community Manager
Oracle MySQL
Novembre 2022
Document Store avec MySQL
Document Store avec MySQL
HeatWave Database Service
HeatWave Database Service
MySQL Innovation & Cloud Day
MySQL Innovation & Cloud Day

Qui suis-je ?
Qui suis-je ?
about.me/lefred
about.me/lefred
Copyright @ 2022 Oracle and/or its affiliates.
2

Frédéric Descamps
@lefred
animateur de la Communauté MySQL
utilisateur de MySQL depuis la version
3.20
fervant adepte du vrai devops
habite dans la contrée de la bière, du
chocolat et des frites
h ps://lefred.be
3

MySQL 8.0 Document Store
MySQL 8.0 Document Store
à la découverte du nouveau monde !
à la découverte du nouveau monde !
4

NoSQL Document Store
Sans structure (schemaless)
5

pas de conception de schéma, pas de normalisation, pas de clés étrangères, pas de types de
données, ...
5

données, ...
un développement initial très rapide
5

données, ...
Structure de données exible
5

données, ...
tableaux ou objets intégrés
5

données, ...
solution valable lorsque les certaines données ne peuvent pas être modélisées de manière
optimale dans un modèle relationnel
5

données, ...
persistance des objets sans l'utilisation d'un ORM - mapping oobject-oriented
5

données, ...
JSON
5

données, ...
JSON
proche du frontend
5

données, ...
JSON
proche du frontend
apprentissage aisé
5

par les DBAs
Percection des données
6

par les DBAs par les développeurs
{
{
"GNP"
"GNP" :
: 249704
249704,
,
"Name"
"Name" :
: "Belgium"
"Belgium",
,
"government"
"government" :
: {
{
"GovernmentForm"
"GovernmentForm" :
:
"Constitutional Monarchy, Federation"
"Constitutional Monarchy, Federation",
,
"HeadOfState"
"HeadOfState" :
: "Philippe I"
"Philippe I"
}
},
,
"_id"
"_id" :
: "BEL"
"BEL",
,
"IndepYear"
"IndepYear" :
: 1830
1830,
,
"demographics"
"demographics" :
: {
{
"Population"
"Population" :
: 10239000
10239000,
,
"LifeExpectancy"
"LifeExpectancy" :
: 77.8000030517578
77.8000030517578
}
},
,
}
}
Percection des données
6

Il faut quand-même toujours réaliser des analyses
SQL
SQL
SQL
7

... mais...comment ?
?
SQL
SQL
SQL
8

En migrant les données (ETL)
SQL
SQL
SQL
ETL: Extraction-Transformation-Chargement
9

Et s'il y avait un moyen de fournir à la fois SQL et NoSQL
sur une plateforme stable qui a prouvé sa stabilité sur
une technologie bien connue disposant d'une grande
communauté et un écosystème diversi é ?
10

RDBMS ou NoSQL ?
11

RDBMS ou NoSQL ?
Pourquoi pas les deux ?
11

MySQL Document Store !
Où le SQL est optionnel ?!
12

Le SQL est optionnel ?!
13

Utilisation de MySQL Document Store !
SQL
SQL
SQL
14

La Solution
La Solution
MySQL Document Store
15

Bâti sur le
type de
données
JSON et la
solide
technologie
de MySQL
Server
Fournit un JSON Document Store exible en terme de schéma
Aucune connaissance de SQL requise
Pas besoin de dé nir tous les a ributs possibles, les tables, etc.
Utilise la nouvelle interface X DevAPI
Possibilité d'indexation des données
Un document peut avoir une taille de ~1GB !
Permet l'utilisation des nouveaux styles de programmation moderne
Possibilité de ne plus avoir de requêtes SQL intégrées dans le code
Code plus facile à lire
Fonctionne également aves les tables relationnelles
Compatible avec les solutions existantes pour MySQL
16

Connecteurs compatibles avec X Protocol
17

Installation
Installation
18

Installation de MySQL Document Store
installer MySQL 8.0
19

installer MySQL 8.0
installer MySQL Shell
19

installer MySQL 8.0
installer un connecteur pour votre langage de programmation
19

installer MySQL 8.0
php-pecl-mysql-xdevapi pour PHP
mysql-connector-python pour Python
...
19

installer MySQL 8.0
php-pecl-mysql-xdevapi pour PHP
mysql-connector-python pour Python
...
Et rien d'autre, pas besoin d'installer d'autre composant ou de charger un plugin. Assurez-
vous simplement que votre pare-feu vous perme e de vous connecter au port 33060 (X
Protocol).
19

MySQL HeatWave Database Service
MySQL HeatWave Database Service sur OCI est le seul service dans le Cloud perme ant
d'utiliser le X Protocol.
20

Migration de MongoDB vers MySQL DS
Pour cet example, j'utilise la collection restaurants de MongoDB:
$ mongoexport
$ mongoexport -c
-c restaurants
restaurants >
> restaurants.json
restaurants.json
connected to:
connected to: 127.0
127.0.0.1
.0.1
exported
exported 25359
25359 records
records
21

Migration de MongoDB vers MySQL DS
Pour cet example, j'utilise la collection restaurants de MongoDB:
$ mongoexport
$ mongoexport -c
-c restaurants
restaurants >
> restaurants.json
restaurants.json
connected to:
connected to: 127.0
127.0.0.1
.0.1
exported
exported 25359
25359 records
records
JS
JS>
> util
util.
.importJson
importJson(
('restaurants.json'
'restaurants.json',
,{
{convertBsonOid
convertBsonOid:
: true
true}
})
)
Importing from file
Importing from file "restaurants.json"
"restaurants.json" to collection
to collection `
`docstore
docstore`
`.
.`
`restaurants
restaurants`
`
in
in MySQL Server at localhost
MySQL Server at localhost:
:33060
33060
.
..
. 25359.
25359..
. 25359
25359
Processed
Processed 15.60
15.60 MB
MB in
in 25359
25359 documents
documents in
in 0.9976
0.9976 sec
sec (
(25
25.
.36K documents
36K documents/
/s
s)
)
Total successfully imported documents
Total successfully imported documents 25359
25359 (
(25
25.
.36K documents
36K documents/
/s
s)
)
21

22

23

24

25

Faisons une requête
JS > restaurants.find()
C'est beaucoup trop d'enrgistrements pour les a cher ici... limitons-les
26

27

Quelques autres examples
28

Ajoutons un critère de sélection
29

Syntaxe légèrment di érente de celle de MongoDB
30

Et pour les développeurs ?
31

$session
$session =
= mysql_xdevapi
mysql_xdevapi
getSession
getSession(
("mysqlx://fred:MyP@ssw0rd%@localhost"
"mysqlx://fred:MyP@ssw0rd%@localhost")
);
;
$schema
$schema =
= $session
$session->
->getSchema
getSchema(
("docstore"
"docstore")
);
;
$collection
$collection =
= $schema
$schema->
->getCollection
getCollection(
("restaurants"
"restaurants")
);
;
$results
$results =
= $collection
$collection->
->find
find(
($search
$search)
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
...
...
foreach
foreach (
($results
$results as
as $doc
$doc)
) {
{
echo
echo "<tr><td><a href='?id=${doc[_id]}'>${doc[name]}</a></td>"
"<tr><td><a href='?id=${doc[_id]}'>${doc[name]}</a></td>";
;
echo
echo "<td>${doc[borough]}</td><td>${doc[cuisine]}</td></tr>"
"<td>${doc[borough]}</td><td>${doc[cuisine]}</td></tr>";
;
}
}
32

$session
$session =
= mysql_xdevapi
mysql_xdevapi
getSession
getSession(
);
;
$schema
$schema =
= $session
$session->
->getSchema
getSchema(
("docstore"
"docstore")
);
;
$collection
$collection =
= $schema
$schema->
->getCollection
getCollection(
("restaurants"
"restaurants")
);
;
$results
$results =
= $collection
$collection->
->find
find(
($search
$search)
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
...
...
foreach
foreach (
($results
$results as
as $doc
$doc)
) {
{
echo
;
echo
;
}
}
Facile, en utilisant uniquement des opérations CRUD !
32

$session
$session =
= mysql_xdevapi
mysql_xdevapi
getSession
getSession(
);
;
$schema
$schema =
= $session
$session->
->getSchema
getSchema(
("docstore"
"docstore")
);
;
$collection
$collection =
= $schema
$schema->
->getCollection
getCollection(
("restaurants"
"restaurants")
);
;
$results
$results =
= $collection
$collection->
->find
find(
($search
$search)
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
...
...
foreach
foreach (
($results
$results as
as $doc
$doc)
) {
{
echo
;
echo
;
}
}
Facile, en utilisant uniquement des opérations CRUD !
Pas une seule instruction SQL !
32

En
import
import *
*;
;
class
class Main
Main {
{
public
public static
static void
void main
main(
(String
String args
args[
[]
])
) {
{
Session
Session mySession
mySession =
= new
new SessionFactory
SessionFactory(
()
)
.
.getSession
getSession(
("mysqlx://localhost:33060/docstore?user=resto&password=Passw0rd!"
"mysqlx://localhost:33060/docstore?user=resto&password=Passw0rd!")
);
;
Schema
Schema myDb
myDb =
= mySession
mySession.
.getSchema
getSchema(
("docstore"
"docstore")
);
;
Collection
Collection myColl
myColl =
= myDb
myDb.
.getCollection
getCollection(
("restaurants"
"restaurants")
);
;
DocResult
DocResult myDocs
myDocs =
= myColl
myColl.
.find
find(
("name like :param"
"name like :param")
).
.limit
limit(
(1
1)
)
.
.bind
bind(
("param"
"param",
, "Green%"
"Green%")
).
.execute
execute(
()
);
;
System
System.
.out
out.
.println
println(
(myDocs
myDocs.
.fetchOne
fetchOne(
()
))
);
;
mySession
mySession.
.close
close(
()
);
;
}
}
}
}
com
com.
.mysql
mysql.
.cj
cj.
.xdevapi
xdevapi.
.
33

Opérations CRUD
L'acronyme informatique anglais CRUD (pour Create, Read, Update, Delete) désigne les quatre opérations de base pour la persistance des
données, en particulier le stockage d'informations en base de données.
34

Opérations CRUD relatives aux collections
Ajout d'un document
collection
collection.
.add
add(
({
{ name
name:
: 'fred'
'fred',
, age
age:
: 46
46 }
})
)
.
.add
add(
({
{ name
name:
: 'scott'
'scott',
, age
age:
: 47
47 }
})
)
.
.execute
execute(
()
)
collection
collection.
.add
add(
([
[
{
{ name
name:
: 'dimo'
'dimo',
, age
age:
: 50
50 }
},
,
{
{ name
name:
: 'kenny'
'kenny',
, age
age:
: 25
25 }
}
]
])
).
.execute
execute(
()
)
35

collection
collection.
.modify
modify(
('name = :name'
'name = :name')
)
.
.bind
bind(
('name'
'name',
, 'fred'
'fred')
)
.
.set
set(
('age'
'age',
, 43
43)
)
.
.sort
sort(
('name ASC'
'name ASC')
)
.
.limit
limit(
(1
1)
)
.
.execute
execute(
()
)
collection
collection.
.modify
modify(
('name = :name'
'name = :name')
)
.
.bind
bind(
('name'
'name',
, 'fred'
'fred')
)
.
.patch
patch(
({
{ age
age:
: 43
43,
, active
active:
: false
false }
})
)
.
.sort
sort(
('name DESC'
'name DESC')
)
.
.limit
limit(
(1
1)
)
.
.execute
execute(
()
)
Modi cation d'un document
36

Suppression d'un document
collection
collection.
.remove
remove(
('name = :name'
'name = :name')
)
.
.bind
bind(
('name'
'name',
, 'fred'
'fred')
)
.
.sort
sort(
('age ASC'
'age ASC')
)
.
.limit
limit(
(1
1)
)
.
.execute
execute(
()
)
37

MySQL Document Store Objects Summary
38

Tout ce dont vous avez besoin, se trouve ici:
h ps://dev.mysql.com/doc/x-devapi-userguide/en/crud-operations-overview.html
39

est entièrement conforme à la norme ACID
est entièrement conforme à la norme ACID
nous nous soucions de vos données
nous nous soucions de vos données
40

Document Store entièrement ACID !
Ce e solution s'appuie sur la force et la robustesse éprouvée de MySQL InnoDB
41

innodb_ ush_log_at_trx_commit = 1
41

innodb_doublewrite = ON
41

sync_binlog = 1
41

sync_binlog = 1
transaction_isolation = REPEATABLE-READ|READ-COMMITTED|...
41

sync_binlog = 1
transaction_isolation = REPEATABLE-READ|READ-COMMITTED|...
Nous nous soucions de vos données !
41

ACID - Transactions
42

ACID - Transactions
43

OK nous avons le Document Store,
OK nous avons le Document Store,
les opérations CRUD et la norme ACID
les opérations CRUD et la norme ACID
mais qu'est-ce qui rend le MySQL Document Store unique
mais qu'est-ce qui rend le MySQL Document Store unique
?
?
44

Challenge: listez les meilleurs restaurants de chaque
type de nourriture et a chez le top 10, avec le meilleur
en premier !
n'oubliez pas que tous ces restaurants ne sont que des documents JSON
45

Traiter le NoSQL comme du SQL - agrégation
46

47

48

49

NoSQL ou SQL
Vous avez la possibilité d'écrire un code propre et soigné :
50

NoSQL ou SQL
$results
$results =
= $collection
$collection->
->find
find(
('cuisine like "italian"'
'cuisine like "italian"')
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
50

NoSQL ou SQL
$results
$results =
= $collection
$collection->
->find
find(
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
Et n'utilisez SQL que lorsque c'est vraiment nécessaire :
50

NoSQL ou SQL
$results
$results =
= $collection
$collection->
->find
find(
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
Et n'utilisez SQL que lorsque c'est vraiment nécessaire :
$results
$results =
= $session
$session->
->sql
sql(
('WITH cte1 AS (SELECT doc->>"$.name" AS name,
'WITH cte1 AS (SELECT doc->>"$.name" AS name,
doc->>"$.cuisine" AS cuisine,
doc->>"$.cuisine" AS cuisine,
(SELECT AVG(score) FROM JSON_TABLE(doc, "$.grades[*]" COLUMNS (score INT
(SELECT AVG(score) FROM JSON_TABLE(doc, "$.grades[*]" COLUMNS (score INT
PATH "$.score")) AS r) AS avg_score FROM docstore.restaurants) SELECT *, RANK()
PATH "$.score")) AS r) AS avg_score FROM docstore.restaurants) SELECT *, RANK()
OVER ( PARTITION BY cuisine ORDER BY avg_score) AS `rank`
OVER ( PARTITION BY cuisine ORDER BY avg_score) AS `rank`
FROM cte1 ORDER BY `rank`, avg_score DESC LIMIT 10;'
FROM cte1 ORDER BY `rank`, avg_score DESC LIMIT 10;')
)->
->execute
execute(
()
);
;
50

Tout cela dans la même session MySQL X !
51

vous pouvez combiner NoSQL & SQL
52

Aller plus loin !
Le meilleur des deux mondes:
53

Aller plus loin !
Le meilleur des deux mondes:
Et le résultat en action:
53

54

Conclusion
Conclusion
qu'est ce que j'y gagne ?
qu'est ce que j'y gagne ?
55

absence de schéma
structure de données exible
apprentissage facile (CRUD)
Conclusion
Le meilleur des deux mondes en un seul produit !
Intégrité des données
Conforme à la norme ACID
Transactions
SQL
56

MySQL 8.0 DBA Certi cation
57

MySQL 8.0 Developer Certi cation
58

Merci !
Merci !
59

MySQL Innovation & Cloud Day - Document Store avec MySQL HeatWave Database Service

Contenu connexe

Similaire à MySQL Innovation & Cloud Day - Document Store avec MySQL HeatWave Database Service (20)

Plus de Frederic Descamps (20)

MySQL Innovation & Cloud Day - Document Store avec MySQL HeatWave Database Service