tag:blogger.com,1999:blog-85876660269751049802024-02-20T17:23:24.888-08:00les databases et plusEncore un blog sur les sgbds mais pas que ça!Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.comBlogger44125tag:blogger.com,1999:blog-8587666026975104980.post-37361448278978913472012-05-25T06:19:00.001-07:002012-05-27T14:16:06.520-07:00Versioner sa base avec LiquiBase<div style="text-align: center;">
<img alt="" src="http://www.liquibase.org/custom_images/liquibase_logo.gif" /></div>
<a href="http://www.liquibase.org/" target="_blank">LiquiBase</a> est un sytème de gestion de version permettant de gérer les changements à appliquer à une base de données. Il est écrit en Java et fonctionne avec des SGBDs hétérogènes tels qu'Oracle, MySQL et PostgreSQL.<br />
Ce système propose un grand nombre de fonctions pour effectuer certains tâches comme supprimer une table, ajouter un index, une colonne, une contrainte ... Il est possible d'ajouter des tests et traitements en fonction des résultats obtenus, d'inclure des fichiers externes, d'ajouter des actions qui seront faites à chaque exécution etc...<br />
Voici un exemple de fichier de changement qu'il est possible d'utiliser :<br />
<br />
<span style="color: #922790; font-family: Monaco;"><span style="color: #019192;"><?</span><span style="color: #509091;">xml</span><span style="color: black;"> </span>version<span style="color: black;">=</span><span style="color: #3b3ffb;">"1.0"</span><span style="color: black;"> </span>encoding<span style="color: black;">=</span><span style="color: #3b3ffb;">"UTF-8"</span><span style="color: black;"> </span>standalone<span style="color: black;">=</span><span style="color: #3b3ffb;">"no"</span><span style="color: #019192;">?></span></span><br />
<br />
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: #019192;"><</span><span style="color: #509091;">databaseChangeLog</span><span style="color: black;"> </span><span style="color: #922790;">xmlns</span><span style="color: black;">=</span>"http://www.liquibase.org/xml/ns/dbchangelog"</div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #922790;">xmlns:xsi</span><span style="color: black;">=</span>"http://www.w3.org/2001/XMLSchema-instance"</div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #922790;">xsi:schemaLocation</span><span style="color: black;">=</span>"http://www.liquibase.org/xml/ns/dbchangelog http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-2.0.xsd"<span style="color: #019192;">></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px; min-height: 19.0px;">
<br /></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">changeSet</span><span style="color: black;"> </span><span style="color: #922790;">id</span><span style="color: black;">=</span>"1"<span style="color: black;"> </span><span style="color: #922790;">author</span><span style="color: black;">=</span>"steve"<span style="color: black;"> </span><span style="color: #922790;">runAlways</span><span style="color: black;">=</span>"true"<span style="color: #019192;">></span></div>
<div style="color: #509091; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span>preConditions<span style="color: black;"> </span><span style="color: #922790;">onFail</span><span style="color: black;">=</span><span style="color: #3b3ffb;">"HALT"</span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #922790;">onFailMessage</span><span style="color: black;">=</span>"You're trying to apply changes on database qal or prd !!"<span style="color: #019192;">></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span><span style="color: #019192;"><</span><span style="color: #509091;">sqlCheck</span> <span style="color: #922790;">expectedResult</span>=<span style="color: #3b3ffb;">"1"</span><span style="color: #019192;">></span> SELECT substring(database(),11) NOT IN ('qal','prd') <span style="color: #019192;"></</span><span style="color: #509091;">sqlCheck</span><span style="color: #019192;">></span></div>
<div style="color: #509091; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"></</span>preConditions<span style="color: #019192;">></span></div>
<div style="color: #509091; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"></</span>changeSet<span style="color: #019192;">></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px; min-height: 19.0px;">
<span style="white-space: pre;"> </span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">changeSet</span><span style="color: black;"> </span><span style="color: #922790;">id</span><span style="color: black;">=</span>"2"<span style="color: black;"> </span><span style="color: #922790;">author</span><span style="color: black;">=</span>"cyril"<span style="color: #019192;">></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span><span style="color: #019192;"><</span><span style="color: #509091;">comment</span><span style="color: #019192;">></span>Whole bd1_data_tst database regenerated <span style="color: #019192;"></</span><span style="color: #509091;">comment</span><span style="color: #019192;">></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span><span style="color: #019192;"><</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span>SET sql_mode=''<span style="color: #019192;"></</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"schema/bd1-schema.tmp-fix-drop-tables.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"schema/bd1_struct_v41.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"schema/bd1_data_v41.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span><span style="color: #019192;"><</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span>SELECT sleep(1)<span style="color: #019192;"></</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"schema/bd1-schema.v41-v42.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span><span style="color: #019192;"><</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span>SELECT sleep(1)<span style="color: #019192;"></</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"schema/bd1-schema.v42-v43.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span><span style="color: #019192;"><</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span>SELECT sleep(1)<span style="color: #019192;"></</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"schema/bd1-schema.v43-v44.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"routinesTriggersEvents/pre-util.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"routinesTriggersEvents/util-debug.sql"</div>
<div style="color: #922790; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span>splitStatements<span style="color: black;">=</span><span style="color: #3b3ffb;">"false"</span><span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"routinesTriggersEvents/pre-companySearch.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"routinesTriggersEvents/companyDictionarySearchWithSoundexInTempTable.sql"</div>
<div style="color: #922790; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span>splitStatements<span style="color: black;">=</span><span style="color: #3b3ffb;">"false"</span><span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"routinesTriggersEvents/companyDictionarySoundexSearchWithWhereClause.sql"</div>
<div style="color: #922790; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span>splitStatements<span style="color: black;">=</span><span style="color: #3b3ffb;">"false"</span><span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"routinesTriggersEvents/validatedCompanyDictionarySearchWithSoundex.sql"</div>
<div style="color: #922790; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span>splitStatements<span style="color: black;">=</span><span style="color: #3b3ffb;">"false"</span><span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"routinesTriggersEvents/pre-triggers.sql"<span style="color: black;"> </span><span style="color: #019192;">/></span><span style="color: black;"><span style="white-space: pre;"> </span></span></div>
<div style="color: #509091; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span>sql<span style="color: #019192;">></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span>DROP procedure IF EXISTS clean_all_tables_from_current_db;</div>
<div style="color: #509091; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"></</span>sql<span style="color: #019192;">></span></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">sqlFile</span><span style="color: black;"> </span><span style="color: #922790;">path</span><span style="color: black;">=</span>"routinesTriggersEvents/clean-test-tables.sql"</div>
<div style="color: #922790; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span>splitStatements<span style="color: black;">=</span><span style="color: #3b3ffb;">"false"</span><span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span><span style="color: #019192;"><</span><span style="color: #509091;">sql</span><span style="color: #019192;">></span><span style="white-space: pre;"> </span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="white-space: pre;"> </span>TRUNCATE tx10;</div>
<div style="color: #509091; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"></</span>sql<span style="color: #019192;">></span></div>
<div style="color: #509091; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"></</span>changeSet<span style="color: #019192;">></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px; min-height: 19.0px;">
<br /></div>
<div style="color: #3b3ffb; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span><span style="color: #019192;"><</span><span style="color: #509091;">include</span><span style="color: black;"> </span><span style="color: #922790;">file</span><span style="color: black;">=</span>"./bd1-changelog.xml"</div>
<div style="color: #922790; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: black;"><span style="white-space: pre;"> </span></span>relativeToChangelogFile<span style="color: black;">=</span><span style="color: #3b3ffb;">"true"</span><span style="color: black;"> </span><span style="color: #019192;">/></span></div>
<div style="font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px; min-height: 19.0px;">
<br /></div>
<div style="color: #509091; font: 14.0px Monaco; margin: 0.0px 0.0px 0.0px 0.0px;">
<span style="color: #019192;"></</span>databaseChangeLog<span style="color: #019192;">></span></div>
<div>
<span style="color: #019192;"><br /></span></div>
Dans ce fichier de changement, on peut voir qu'il y a 2 changements à appliquer (<span style="color: #3b3ffb; font-family: Monaco;"><span style="color: #509091;">changeSet</span><span style="color: black;"> </span><span style="color: #922790;">id</span><span style="color: black;">=</span>"X"</span>) dont un qui sera appliqué à chaque fois (<span style="color: #3b3ffb; font-family: Monaco;"><span style="color: #922790;">runAlways</span><span style="color: black;">=</span>"true"</span>) , et que le premier changement effectue un test qui sera fatal à l'application des changements suivants s'il échoue (<span style="color: #509091; font-family: Monaco;"><span style="color: #922790;">onFail</span><span style="color: black;">=</span><span style="color: #3b3ffb;">"HALT"</span></span>).<br />
On remarque aussi que chaque changement est associé à un utilisateur bien défini (<span style="color: #3b3ffb; font-family: Monaco;"><span style="color: #922790;">author</span><span style="color: black;">=</span>"cyril"</span>). En plus des deux changements présents dans le fichier, les changements inclus dans le fichier ./bd1-changeog.xml seront aussi appliqués, ce qui permet par exemple d'observer un certain découpage et de ne pas avoir un fichier de changement qui pèse plusieurs Mo.<br />
<br />
<br />
Concernant l'utilisation, il existe un <a href="http://www.liquibase.org/manual/maven" target="_blank">plugin Maven</a> afin de pouvoir piloter le système. Il est aussi possible d'écrire une petite application en Java pour appliquer un fichier de changement ou utiliser une <a href="http://www.liquibase.org/manual/command_line" target="_blank">commande en ligne</a> si vous ne disposez pas de Maven.Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-64044019759276812102012-05-25T06:15:00.001-07:002012-05-27T12:05:48.150-07:00Paralléliser une commande shell<img alt="" src="http://upload.wikimedia.org/wikipedia/en/thumb/2/22/Heckert_GNU_white.svg/300px-Heckert_GNU_white.svg.png" /> Je conseille fortement l'utilisation ou au moins de jeter un coup d'oeil sur un outil très intéressant "made by GNU“ qui se nomme <a href="http://www.gnu.org/software/parallel/" target="_blank" title="Parallel">Parallel</a>.<br />
En effet, il permet après avoir rapidement parcouru la documentation en ligne de paralléliser l'exécution d'une commande Shell même si elle est un peu complexe.<br />
Une petite démonstration vous permettra de rapidement vous en rendre compte :)<br />
<br />
Voici donc la commande shell que je désirais paralléliser :
<br />
<br />
<div class="code">
for id in $(seq 1 4)
do
for cf in t1 x34 j25 r32 r77
do
cat /data/d${id}/res/${cf}.csv | encb64 > /data/d${id}/res/${cf}-bs64.csv
done
done
</div>
<div>
<br />
A priori ça semble un peu compliqué mais en fait Parallel supporte l'initialisation de listes pour justement mimer les boucles for. Ainsi la commande devient la suivante :<br />
<br /></div>
<div class="code">
parallel cat /data/pns{1}/results/{2}.csv '|' encb64 '>' /data/pns{1}/results/{2}-bs64.csv ::: 1 2 3 4 ::: t1 x34 j25 r32 r77</div>
<div class="zemanta-pixie">
<br />
Vous noterez qu'il est nécessaire de mettre entre quotes les caractères pouvant être interprétés par le shell comme dans mon exemple le caractère pipe.</div>
<div class="zemanta-pixie">
Par défaut Parallel lancera autant de processus que de coeurs disponibles sur la machine. il est aussi possible de paralléliser des tâches sur plusieurs machines.</div>
<div class="zemanta-pixie">
Concernant l'installation de l'outil, vous pouvez la faire très simplement avec le Homebrew de Mac ou en téléchargeant le paquet disponible pour votre distribution. Par exemple, pour ubuntu 10.04 vous pouvez le récupérer <a href="https://build.opensuse.org/package/binary?arch=x86_64&filename=parallel_20120522_all.deb&package=parallel&project=home%3Atange&repository=xUbuntu_10.04" target="_blank" title="ici">ici</a>.</div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-20936627354854429452011-11-02T07:10:00.001-07:002012-02-14T07:56:03.255-08:00Doit-on utiliser le singulier ou le pluriel pour nommer ses tables ?<p>C'est une question qui revient souvent quand on décide de créer une nouvelle base de données. En effet, on peut avoir oublié la raison pour laquelle on a fait tel choix lors du design d'une ancienne base.Il se peut par exemple que vous utilisiez un <a href="http://en.wikipedia.org/wiki/Object-relational_mapping">ORM</a> et que celui-ci ne supporte par exemple que le singulier sur le nom des tables. Mais dans le cas, où vous vous interrogez simplement sur la bonne marche à suivre je ne connais pas de règle ISO sur le sujet . Sachez cependant qu'Oracle utilise par exemple le pluriel pour les noms des tables et le singulier pour les noms des colonnes. MySQL en fait tout autant dans sa base de données information_schema. Cependant, j'ai trouvé une réponse assez argumentée que j'ai voulu partager.</p><p>Pour en savoir plus, allez lire la réponse sur <a href="http://stackoverflow.com/questions/338156/table-naming-dilemma-singular-vs-plural-names/5841297#5841297">stackoverflow</a>. N'oubliez quand même pas qu'au final vous avez toujours le choix, mais mieux vaut considérer les avantages/inconvénients que peuvent vous apportez d'utiliser ou non le pluriel/singulier et je rajouterais aussi que peuvent vous apporter l'utilisations du <a href="http://fr.wikipedia.org/wiki/CamelCase">CamelCase</a> (passage de Windows à Unix par ex), des minuscules ou majuscules.</p>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-19762867396357891432011-10-17T09:33:00.001-07:002011-11-02T07:08:55.101-07:00Indexation et booléensVoilà encore une raison pour laquelle il faut toujours tester vos requêtes!<br />
En effet, il s'avère que l'optimiseur de MySQL 5.5 (vérifié aussi en 5.1.60) ne fait pas le même choix selon qu'un filtre sur la valeur d'un booléen indexé utilise l'opérateur = ou IS. Voici un exemple extrait <a href="http://bugs.mysql.com/bug.php?id=62738" target="_blank">du rapport de Bug</a> que j'ai posté sur bugs.mysql.com <span class="fullpost">:<br />
<br /><div class="code">
mysql> CREATE TABLE t(id INT, b BOOLEAN DEFAULT FALSE);<br />
Query OK, 0 rows affected (0.01 sec)<br />
mysql> INSERT INTO t(id) SELECT 1;<br />
Query OK, 1 row affected (0.01 sec)<br />
Records: 1 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t;<br />
Query OK, 1 row affected (0.00 sec)<br />
Records: 1 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t;<br />
Query OK, 2 rows affected (0.00 sec)<br />
Records: 2 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t;<br />
Query OK, 4 rows affected (0.00 sec)<br />
Records: 4 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t;<br />
Query OK, 8 rows affected (0.00 sec)<br />
Records: 8 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t;<br />
Query OK, 16 rows affected (0.00 sec)<br />
Records: 16 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t;<br />
Query OK, 32 rows affected (0.00 sec)<br />
Records: 32 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t;<br />
Query OK, 64 rows affected (0.00 sec)<br />
Records: 64 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t UNION ALL SELECT id FROM t UNION ALL SELECT id FROM t;<br />
Query OK, 387 rows affected (0.00 sec)<br />
Records: 387 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t UNION ALL SELECT id FROM t UNION ALL SELECT id FROM t;<br />
Query OK, 1548 rows affected (0.02 sec)<br />
Records: 1548 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t UNION ALL SELECT id FROM t UNION ALL SELECT id FROM t;<br />
Query OK, 6192 rows affected (0.03 sec)<br />
Records: 6192 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t UNION ALL SELECT id FROM t UNION ALL SELECT id FROM t;<br />
Query OK, 24768 rows affected (0.18 sec)<br />
Records: 24768 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t(id) SELECT id FROM t UNION ALL SELECT id FROM t UNION ALL SELECT id FROM t;<br />
Query OK, 99072 rows affected (0.43 sec)<br />
Records: 99072 Duplicates: 0 Warnings: 0<br />
mysql> alter table t add index(b);<br />
Query OK, 0 rows affected (0.22 sec)<br />
Records: 0 Duplicates: 0 Warnings: 0<br />
mysql> INSERT INTO t values(10,TRUE);<br />
Query OK, 1 row affected (0.00 sec)<br />
<br />mysql> EXPLAIN SELECT COUNT(*) FROM t WHERE b IS TRUE\G<br />
<strong><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em></strong><em> 1. row <strong> </strong></em><strong><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em>*</strong><br />
id: 1<br />
select_type: SIMPLE<br />
table: t<br />
<b>type: index</b><br />
possible_keys: NULL<br />
key: b<br />
key_len: 2<br />
<b>ref: NULL</b><br />
rows: 131783<br />
<b>Extra: Using where; Using index</b><br />
1 row in set (0.00 sec)<br />
<br />mysql> EXPLAIN SELECT COUNT(*) FROM t WHERE b = TRUE\G<br />
<strong><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em></strong><em> 1. row <strong> </strong></em><strong><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em><em>*</em>*</strong><br />
id: 1<br />
select_type: SIMPLE<br />
table: t<br />
<b>type: ref</b><br />
possible_keys: b<br />
key: b<br />
key_len: 2<br />
<b>ref: const</b><br />
rows: 1<br />
<b>Extra: Using where; Using index</b><br />
1 row in set (0.00 sec)</div>
<br />
Comme vous pouvez le voir, lorsque l'on utilise l'opérateur "=" , MySQL effectue un accès unique dans l'index b, alors qu'avec l'opérateur "IS" il effectue un parcours total de l'index...
Il est donc très important pour l'instant de privilégier l'opérateur d'égalité en attendant la correction du bug.
</span>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-38050258802853140562011-10-12T09:11:00.001-07:002011-10-24T06:04:16.739-07:00Sauvegarder physiquement certaines tables InnoDBAvec les tables MyISAM, il est possible de sauvegarder directement les fichiers MYD et MYI lorsque le serveur MySQL tourne, en supposant bien sûr que vous avez verrouillé les tables concernées avec la commande LOCK TABLES ou qu'il n'y a aucune requête en cours. Cependant, il n'en est pas de même avec le moteur InnoDB. En effet, à la différence de MyISAM, il y a des threads qui continue à s'exécuter après que les modifications aient été faites et qui modifient les fichiers de données. Seules les journaux de transactions (iblogfiles) sont réellement écrits à chaque fin de transaction (je considère que vous ne jouez pas avec le paramètre <a href="http://dev.mysql.com/doc/refman/5.5/en/innodb-parameters.html#sysvar_innodb_flush_log_at_trx_commit">innodb_flush_log_at_trx_commit</a>). De plus, il y a un fichier spécial, nommé par défaut ibdata1, qui contient le dictionnaire de données et toutes les tables (et index) InnoDB ayant été créées avec le paramètre <a href="http://dev.mysql.com/doc/refman/5.5/en/innodb-parameters.html#sysvar_innodb_file_per_table">innodb_file_per_table</a> désactivé).<br />
C'est la raison pour laquelle il n'est pas possible de copier un fichier innodb d'un serveur à un autre. Il est par contre tout a fait possible de sauvegarder un fichier innodb et de le restaurer plus tard sur <span class="fullpost"> le même serveur ou sur un serveur hébergeant une sauvegarde physique, sans avoir à restaurer la base dans son ensemble.<br />
Il faut savoir qu'InnoDB associe un identifiant à chaque fichier innoDB nommé tablespace (oui cela n'a rien à voir avec les tablespaces d'Oracle). Cet id est stocké dans le catalogue InnoDB ainsi que dans le fichier concerné. C'est ce qui empêche de restaurer le fichier sur un autre serveur sur lequel le même tablespace n'existe pas ou a un identifiant différent, ou sur le même serveur sur lequel on aurait fait un TRUNCATE de la table, et donc généré implicitement un nouvel identifiant !<br><br>
La méthode à suivre est la suivante, détaillée dans la document MySQL :<br /><br>
<div class="code">
mysql> USE test<br />
Reading table information for completion of table and column names<br />
You can turn off this feature to get a quicker startup with -A<br />
Database changed<br />
mysql> CREATE TABLE t1(id int);<br />
Query OK, 0 rows affected (0.03 sec)<br />
mysql> SELECT @i:=0;<br />
+-------+<br />
| @id:=0 |<br />
+-------+<br />
| 0 |<br />
+-------+<br />
1 row in set (0.00 sec<br />
mysql> INSERT INTO t1 SELECT @id:=@id+1 FROM information_schema.TABLES;<br />
Query OK, 198 rows affected (0.03 sec)<br />
Records: 198 Duplicates: 0 Warnings: 0<br />mysql> INSERT INTO t1 SELECT @id:=@id+1 FROM information_schema.TABLES;<br />Query OK, 198 rows affected (0.00 sec)<br />Records: 198 Duplicates: 0 Warnings: 0<br />mysql> INSERT INTO t1 SELECT @id:=@id+1 FROM information_schema.TABLES;<br />Query OK, 198 rows affected (0.00 sec)<br />
Records: 198 Duplicates: 0 Warnings: 0<br />mysql> SELECT COUNT(*) FROM t1; <br />+----------+<br />| COUNT(*) |<br />+----------+<br />| 594 |<br />+----------+ <br />1 row in set (0.00 sec)<br />mysql> SHOW ENGINE INNODB STATUS\G ... Main thread process no. 5109, id 140547993949952, <strong>state: waiting for server activity</strong><br />Number of rows inserted 594, updated 0, deleted 0, read 1193<br />0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 12.91 reads/s<br />----------------------------<br />END OF INNODB MONITOR OUTPUT<br />============================<br />1 row in set (0.00 sec)</div>
<br />Une fois que le statut du moteur InnoDB est bien à "<strong>waiting for server activity</strong>", On sauvegarde le fichier InnoDB<br /><br />
<div class="code">
cp -p /var/lib/mysql/test/t1.ibd /tmp/</div>
<br />La sauvegarde effectuée, on simule la perte de données<br /><br /><div class="code">
mysql> DELETE FROM t1 WHERE id>400;<br />
Query OK, 194 rows affected (0.04 sec)<br />
mysql> SELECT MAX(id) FROM t1;<br />
+---------+<br />
| MAX(id) |<br />
+---------+<br />
| 400 |<br />
+---------+<br />
1 row in set (0.00 sec)</div>
<br />- On tente maintenant de restaurer nos données en prévenant MySQL<br /><br /><div class="code">
mysql> ALTER TABLE t1 DISCARD TABLESPACE;<br />
Query OK, 0 rows affected (0.00 sec)</div>
<br />- On restaure le fichier à sa place d'origine<br /><br /><div class="code">
root@lizzie:~# cp -p /tmp/t1.ibd /var/lib/mysql/test/t1.ibd</div>
<br />- On avertit MySQL qu'il peut utiliser à présent le fichier<br /><br /><div class="code">
mysql> ALTER TABLE t1 IMPORT TABLESPACE;<br />
Query OK, 0 rows affected (0.00 sec)<br />
mysql> SELECT MAX(id) FROM t1;<br />
+---------+<br />
| MAX(id) |<br />
+---------+<br />
| 594 |<br />
+---------+<br />
1 row in set (0.02 sec)</div>
<br />Et voilà !<br />Par contre, comme je vous l'ai dit ça ne fonctionne plus quand l'id du tablespace a été modifié dans le catalogue :<br /><br /><div class="code">
mysql> TRUNCATE TABLE t1;<br />
Query OK, 0 rows affected (0.01 sec)<br />
mysql> ALTER TABLE t1 DISCARD TABLESPACE;<br />
Query OK, 0 rows affected (0.00 sec)<br />
root@lizzie:~# cp -p /tmp/t1.ibd /var/lib/mysql/test/t1.ibd<br />
mysql> ALTER TABLE t1 IMPORT TABLESPACE;<br />
ERROR 1030 (HY000): Got error -1 from storage engine</div>
<br />Vous trouverez un message plus explicite dans le fichier d'erreur :<br />grep -A 10 "InnoDB: Error" /var/lib/mysql/lizzie.err <br />
111012 18:09:31 InnoDB: Error: tablespace id and flags in file './test/t1.ibd' are 209768 and 0, but in the InnoDB<br />
InnoDB: data dictionary they are 209769 and 0.<br />
InnoDB: Have you moved InnoDB .ibd files around without using the<br />
InnoDB: commands DISCARD TABLESPACE and IMPORT TABLESPACE?<br />
InnoDB: Please refer to<br />
InnoDB: http://dev.mysql.com/doc/refman/5.5/en/innodb-troubleshooting-datadict.html<br />
InnoDB: for how to resolve the issue.<br />
111012 18:09:31 InnoDB: cannot find or open in the database directory the .ibd file of<br />
InnoDB: table `test`.`t1`<br />
InnoDB: in ALTER TABLE ... IMPORT TABLESPACE</span>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-64436682405789547242011-06-10T02:16:00.001-07:002011-06-10T02:31:04.349-07:00Proxychains ou l'art de proxifier<div xmlns="http://www.w3.org/1999/xhtml">S'il vous est arrivé de vous retrouver dans l'impossibilité de sortir sur certains ports mais que vous avez su mettre en place un proxy socks ou http, il n'est pas forcément aisé de configurer les différents outils que vous utilisez.<br />Ce fut mon cas par exemple avec git. En effet, il est possible avec git d'utiliser un proxy socks, mais cela nécessite de créer un script basé sur netcat et d'affecter à la variable d'environnement GIT_PROXY_COMMAND le chemin associé à ce script. Bref, quelles que soient les commandes que vous utilisez vous aurez ou non la possibilité de configurer l'utilisation d'un proxy en modifiant un fichier de configuration, une variable de d'environnement etc...<br />L'intérêt de proxychains est que la configuration ne se fait qu'une seule fois, dans son propre fichier de configuration. Ensuite vous utilisez la syntaxe proxychains <command> <args> et votre commande utilisera le proxy spécifié dans le fichier de configuration de proxychains !<span class="fullpost"><br /><br />Voyons tout de suite un exemple :<br /><br /><div class="code">git pull git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux-2.6.git master<br />git.kernel.org[0: 199.6.1.168]: errno=Connection timed out<br />git.kernel.org[0: 130.239.17.8]: errno=Connection timed out<br />git.kernel.org[0: 2001:6b0:e:4017:1994:313:1:2]: errno=Network is unreachable<br />git.kernel.org[0: 2001:500:60:10:1994:313:1:2]: errno=Network is unreachable<br />fatal: unable to connect a socket (Network is unreachable)</div><br />Maintenant en utilisant un proxy socks.<br /><br />- Je mets donc en place mon proxy<br /><div class="code">ssh -fND localhost:10123 my_proxy</div><br />- J'installe proxychains et mets en place ma configuration<br /><div class="code">sudo apt-get install proxychains</div><br />- Voici mon fichier de configuration /etc/proxychains<br /><div class="code">strict_chain<br /><br /># Quiet mode (no output from library)<br />quiet_mode<br /><br /># Proxy DNS requests - no leak for DNS data<br />#proxy_dns<br /><br /># Some timeouts in milliseconds<br />tcp_read_time_out 15000<br />tcp_connect_time_out 8000<br /><br />[ProxyList]<br />socks5 127.0.0.1 10123</div><br />- Il ne reste plus qu'à tester proxychains pour proxifier le flux de ma commande git. Pour ce test j'ai commenté l'instruction quiet_mode dans le fichier de configuration de proxychains<br /><div class="code">proxychains git pull git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux-2.6.git master<br />ProxyChains-3.1 (http://proxychains.sf.net)<br />|S-chain|-<>-127.0.0.1:10123-<><>-130.239.17.8:9418-<><>-OK<br />From git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux-2.6<br />* branch master -> FETCH_HEAD<br />Already up-to-date.</div><br />Comme on peux le voir on passe par le proxy socks local pour atteindre git.eu.kernel.org(130.239.17.8) sur le port git (9418)<br /><br />Pour ceux qui veulent en savoir plus, le fonctionnement de proxychains est assez simple ainsi que son code (~ 1000 lignes). Il affecte à la variable d'environnement LD_PRELOAD le chemin de sa bibliothèque dynamique (libproxychains.so) surchargeant les fonctions réseaux de base que sont gethostbyaddr, getnameinfo, gethostbyname, connect</span><br /><br /></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.comtag:blogger.com,1999:blog-8587666026975104980.post-86204099128920804342011-05-30T09:13:00.001-07:002011-05-30T09:15:07.978-07:00Télécharger vos patchs Oracle avec wget<div xmlns="http://www.w3.org/1999/xhtml">Vous l'avez peut être remarqué, mais Oracle vous donne à présent la possibilité de télécharger les archives en utilisant wget. Pour cela, il vous suffit de choisir "WGET options" après avoir cliqué sur download et ensuite de choisir download.sh pour récupérer le script. Enregistrer le sous le nom wget-oracle.sh.<br /><br />Pour le faire fonctionner il vous reste à :<br /><br />- entrer vos informations SSO, par exemple :<br />SSO_USERNAME=cscetbon@lesdatabases.com<br />SSO_PASSWORD=Waou000p<br />- commenter les instructions wget qui ne concernent pas les fichiers que vous désirez télécharger<br />- remplacer le ligne<br />WGET=/usr/bin/wget<br />par<br />WGET='/usr/bin/wget --user-agent="Mozilla/5.0" '<br />- ajouter en début de script l'instruction<br />export LANG=C<br />- rendre exécutable le script<br />chmod u+x wget-oracle.sh<br /><br />Maintenant rendez vous dans un répertoire disposant d'assez d'espace pour télécharger vos archives et lancez la commande :<br />/le/chemin/que/vous/aurez/choisi/wget-oracle.sh<br /><br /></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-44292007492714450362011-05-16T10:00:00.001-07:002011-10-12T10:35:28.619-07:00jointures et collate<div xmlns="http://www.w3.org/1999/xhtml">L'option COLLATE peut être utilisée dans l'ordre de création d'une table pour spécifier le comportement à observer sur les opérations liées à une colonne. Vous pouvez par exemple grâce à ce mot clé effectuer une recherche sur une chaîne de caractères en ne tenant pas compte des accents. Cependant, il est important de savoir que cela peut avoir un impact sur les performances de vos jointures SQL si vous n'utilisez le même COLLATE sur les colonnes servant à effectuer la jointure. Nous allons voir un exemple concret rencontré en production.<br />Cet exemple fait intervenir 2 tables dont une qui contient plus de 4 millions d'enregistrements : <br /><br /><div class="code">mysql> SELECT count(*) FROM a1;<br />+----------+<br />| count(*) |<br />+----------+<br />| 4382124 |<br />+----------+<br />1 row in set (0.77 sec)<br /><br />mysql> SELECT count(*) FROM a2;<br />+----------+<br />| count(*) |<br />+----------+<br />| 1 |<br />+----------+<br />1 row in set (0.00 sec)<br /></div><br />La jointure des tables n'est pas très lente mais est exécutée des millions de fois, ce qui fait que le processus global durait une dizaine d'heure.<span class='fullpost'> Voici le plan d'exécution utilisé par MySQL :<br /><br /><div class="code">mysql>EXPLAIN SELECT count(*) FROM a1 JOIN a2 ON (a2.pka2=a1.pka1);<br />+----+-------------+-------+--------+---------------+---------+---------+------+---------+--------------------------+<br />| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |<br />+----+-------------+-------+--------+---------------+---------+---------+------+---------+--------------------------+<br />| 1 | SIMPLE | a2 | system | PRIMARY | NULL | NULL | NULL | 1 | |<br />| 1 | SIMPLE | a1 | index | NULL | PRIMARY | 27 | <b>NULL</b> | <b>4387787</b> | <b>Using where; Using index</b> |<br />+----+-------------+-------+--------+---------------+---------+---------+------+---------+--------------------------+<br />2 rows in set (0.00 sec)<br /></div><br />Comme vous pouvez le voir, MySQL effectue un FULL SCAN de l'index (PK) de la table a1 qui contient ~ 4,4 Millions d'enregistrements. L'exécution de la requête dure 130ms.<br />En fait, ceci est dû au fait que les COLLATE des colonnes a2.pka2 et a1.pka1 sont différents<br /><br /><div class="code">mysql> SELECT TABLE_NAME,COLUMN_NAME,CHARACTER_SET_NAME,COLLATION_NAME FROM information_schema.columns WHERE (TABLE_NAME='a1' and COLUMN_NAME='pka1') or (TABLE_NAME='a2' and COLUMN_NAME='pka2')\G<br />*************************** 1. row ***************************<br /> TABLE_NAME: a1<br /> COLUMN_NAME: pka1<br />CHARACTER_SET_NAME: ascii<br /> COLLATION_NAME: ascii_bin<br />*************************** 2. row ***************************<br /> TABLE_NAME: a2<br /> COLUMN_NAME: pka2<br />CHARACTER_SET_NAME: latin1<br /> COLLATION_NAME: latin1_swedish_ci<br />2 rows in set (0.00 sec)<br /></div><br />Si on modifie le COLLATE de la colonne a2.pka2 pour qu'il soit celui de la colonne a1.pka1, MySQL n'a plus besoin de scanner entièrement l'index de la table a1.<br /><br /><div class="code">mysql> ALTER TABLE a2 CHANGE COLUMN pka2 pka2 VARCHAR(25) NOT NULL COLLATE ascii_bin;<br />Query OK, 0 rows affected (0.07 sec)<br />Records: 0 Duplicates: 0 Warnings: 0<br /><br />mysql>EXPLAIN SELECT count(*) FROM a1 JOIN a2 ON (a2.pka2=a1.pka1);<br />+----+-------------+-------+--------+---------------+---------+---------+----------------------------+------+-------------+<br />| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |<br />+----+-------------+-------+--------+---------------+---------+---------+----------------------------+------+-------------+<br />| 1 | SIMPLE | a2 | index | PRIMARY | PRIMARY | 27 | NULL | 1 | Using index |<br />| 1 | SIMPLE | a1 | eq_ref | PRIMARY | PRIMARY | 27 | <b>a2.pka2</b> | <b>1</b> | <b>Using index</b> |<br />+----+-------------+-------+--------+---------------+---------+---------+----------------------------+------+-------------+<br />2 rows in set (0.00 sec)<br /></div><br />Ceci a permis de ramener la durée du processus global à une vingtaine de minutes. Prenez donc garde à utiliser soigneusement la clause COLLATE, surtout quand vous effectuez des jointures !<br /></div></span>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-80672318699145936122011-02-27T02:13:00.001-08:002011-10-12T10:36:01.620-07:00Contraintes uniques et valeurs nulles<div xmlns="http://www.w3.org/1999/xhtml">Vous risquez d'être surpris si vous utiliser une contrainte d'unicité sur un groupe de colonnes qui peuvent être nulles. En effet, il faut savoir que la contrainte d'unicité différencie par défaut les valeurs nulles. Ainsi si vous créez la table suivante :<br /><br /><div class="code">mysql> CREATE TABLE t1(id1 int,id2 int,id3 int);<br />Query OK, 0 rows affected (0.00 sec)<br /><br />mysql> ALTER TABLE t1 ADD UNIQUE KEY (id1,id2,id3);<br />Query OK, 0 rows affected (0.00 sec)<br />Records: 0 Duplicates: 0 Warnings: 0<br /></div><br />Vous pourrez ajouter les triplets (1,1,1), (1,2,1), (2,1,1) une seule fois. Par contre, vous pourrez ajouter autant de fois que vous le voulez les triplets (1,1,NULL), (1,NULL,1), (1,NULL,NULL), (NULL,NULL,NULL) etc...<span class='fullpost'><br /><br /><div class="code">mysql> INSERT INTO t1 VALUES(1,1,1);<br />Query OK, 1 row affected (0.00 sec)<br /><br />mysql> INSERT INTO t1 VALUES(1,2,1);<br />Query OK, 1 row affected (0.00 sec)<br /><br />mysql> INSERT INTO t1 VALUES(2,1,1);<br />Query OK, 1 row affected (0.00 sec)<br /><br />mysql> INSERT INTO t1 VALUES(2,1,1);<br />ERROR 1062 (23000): Duplicate entry '2-1-1' for key 'id1'<br /><br />mysql> INSERT INTO t1 VALUES(1,1,NULL);<br />Query OK, 1 row affected (0.00 sec)<br /><br />mysql> INSERT INTO t1 VALUES(1,1,NULL);<br />Query OK, 1 row affected (0.00 sec)<br /><br />mysql> INSERT INTO t1 VALUES(1,NULL,NULL);<br />Query OK, 1 row affected (0.00 sec)<br /><br />mysql> INSERT INTO t1 VALUES(1,NULL,NULL);<br />Query OK, 1 row affected (0.00 sec)<br /><br />mysql> INSERT INTO t1 VALUES(NULL,NULL,NULL);<br />Query OK, 1 row affected (0.00 sec)<br /><br />mysql> INSERT INTO t1 VALUES(NULL,NULL,NULL);<br />Query OK, 1 row affected (0.00 sec)<br /></div><br />Apparemment, MySQL respecte le SQL 2003 qui spécifie que les contraintes d'unicité ne s'appliquent que sur les valeurs non nulles, ce qui ne semble pas très intuitif quand on choisi ce type de contrainte. Oracle ne prend pas en compte cette considération et vérfie l'unicité sur l'ensemble des valeurs, ce que nombre de personnes auraient certainement voulu retrouver chez MySQL...<br /><br />Pour plus d'information, vous pouvez lire le bug report <a href="http://bugs.mysql.com/bug.php?id=25544">25544</a><br /><br /></div></span>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com1tag:blogger.com,1999:blog-8587666026975104980.post-23771441952284217212010-12-06T16:59:00.001-08:002010-12-06T17:03:43.415-08:00Berkeley DB XML<div xmlns="http://www.w3.org/1999/xhtml">Berkeley DB XML est une surcouche à Berkeley DB qui permet d'hériter de toutes ses <a href="http://lesdatabases.blogspot.com/2010/08/berkeley-db-5026.html">fonctionnalités</a> pour le stockage de documents XML.<br /><br />En plus du stockage, BDB XML apporte les fonctionnalités suivantes :<br />- Indexation des noeuds, des attributs et des metadata<br />- Indexation au niveau noeud ou document<br />- QueryPlan<br />- Xquery 1.0<br />- Possibilité d'ajouter/requêter des metadata associées aux documents<br />- Documents modifiables (remplacer un sous ensemble du document peut être plus rapide)<br />- Validation (Il est possible de fournir un schema xsd qui est vérifié à l'insertion d'un document)<br />- Compression zlib par défaut (personnalisable)<br /><br />XQUERY (XML Query Language) est disponible pour effectuer des recherches/modifications/ajouts de documents XML.<span class="fullpost"><br />Il s'appuie sur <a href="http://xqilla.sourceforge.net/">Xqilla</a> (bibliothèque C++) pour effectuer le parsing des requêtes Xquery/XPath.<br />Xqilla utilise <a href="http://xerces.apache.org/xerces-c/">Xerces</a> (bibliothèque C++) pour effectuer le parsing et la validation des documents XML.<br />XQuery supporte les «Expressions FLWOR» (For/Let/Where/Order/Return) qui permettent d'effectuer toute sorte de traitements sur les données comme les boucles, les tris, le filtrage.<br />Il n'est pas encore possible de grouper les données avec XQuery 1.0, mais cette fonctionnalité founie par XQuery 1.1 sera certainement supportée dans l'une des prochaines versions de Berkeley DB XML. Pour plus d'information, vous pouvez vous rendre sur <a href="http://www.w3.org/TR/xquery">http://www.w3.org/TR/xquery</a>.<br /><br />Voyons quelques exemples simples de traitements qu'il vous est possible d'effectuer avec le language XQuery (dans l'ensemble des exemples qui suivent, vous pouvez utiliser l'interpréteur dbxml) :<br /><br />- Pour ajouter un document au container test.dbxml<br />dbxml -h /var/tmp/<br />dbxml>createContainer c1.dbxml<br />dbxml> put p1 '<person name="pignon" age="32" Taille="160" genre="M">Charles</person>'<br />dbxml> put p2 '<person age="31" Taille="190" genre="M">Cyril Scetbon</person>'<br /><br /><div class="code">Pour mettre à jour la valeur de l'attribut age du noeud person dont la valeur de l'attribut name vaut pignon<br />- replace value of node collection('c1.dbxml')/person[@name='pignon']/@age with '54'<br /><br />Pour récupérer à partir du container c1.dbxml la valeur du noeud person dont la valeur de l'attribut Taille est supérieur à 180 et dont la valeur de l'attribut genre vaut M<br />- collection("c1.dbxml")/person[@Taille>180 and genre="M"]/text()<br /><b>Cyril Scetbon</b><br /><br />Pour compter le nombre de valeur distinctes de l'attribut Taille de tous les noeuds person contenus dans le container c1.dbxml<br />- count(distinct-values(collection("cont2.dbxml")/person/@Taille))<br /><b>3</b></div><br />Et voici d'autres exemples utilisant des expressions FLWOR :<br /><br /><div class="code">Pour afficher les chiffres de 1 à 10<br />- for $c in 1 to 3 return $c<br /><b>1<br />2<br />3<br /><br /></b>Pour afficher le nom de tous les auteurs (valeur de l'attribut name du noeud author des documents du container authors.dbxml) qui ont écrit le livre dont le titre est 'MySQL 5 Administration et Optimisation' (vérification en faisant une jointure entre les containers books.dbxml et authors.dbxml sur la relation [valeur de l'attribut id du noeud /author = valeur de l'attribut id du noeud /book/author])<br />-for $book in collection("books.dbxml")/book[title='MySQL 5 Administration et Optimisation']<br /> for $author in collection("authors.dbxml")/author[@id=$book/author/@id]<br /> order by $author/name<br /> return <author>{$author/name/string()}</author><br /><b><author>Stephane Combaudon</author><br /><author>Olivier Dasini</author><br /><author>Cyril Scetbon</author><br /></b><br />Pour afficher l'ensemble des noeuds person du container c2.dbxml pour lesquels la valeur de l'attribut Taille est supérieur à 180 en les insérant entre des balises <response> </response><br />- for $p in collection("c2.dbxml")/person[@Taille>180]<br /> order by $p/@Taille descending<br /> return <response>{$p}</respoonse><br /><b><person genre="F" Taille="185">Brigitte Nielsen</person><br /><person genre="M" Taille="182">Cyril Scetbon</person><br /></b><br /></div><br />Dans un prochain article, nous verrons comment créer des index et vérifier que nos requêtes les utilisent bien.<br /></span></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-62707666091222020882010-10-18T07:12:00.001-07:002010-10-18T07:13:41.666-07:00Mais où est mysqld_safe ?<div xmlns='http://www.w3.org/1999/xhtml'>Vous l'aurez peut être remarqué, mais dans la distribution Lucid d'Ubuntu, mysqld_safe n'est plus présent. <br/>Pour rappel, mysqld_safe est un script fourni avec MySQL pour lancer mysqld, le monitorer et le relancer s'il vient à mourir. C'est pourquoi lorsque mysqld_safe tourne, si vous arrêtez mysqld il est automatiquement relancé.<br/>Cependant, il a disparu depuis la version mysqld 5.1.37 fournie dans la Lucid (la version actuelle étant la 5.1.41). Ceci ne veut cependant pas dire que le démon mysqld n'est plus monitoré afin d'être redémarré au cas où. En fait, c'est upstart qui est utilisé pour effectuer cette tâche. <br/>Upstart , qui est un remplaçant du système sysvinit, s'occupe de démarrer et gérer les services au démarrage, ainsi que durant l'activité du système Linux. Des évènements sont déclenchés à l'arrêt ou démarrage de tâches et services et peuvent être captés par d'autres processus afin de déclencher des opérations.<br/><br/>Vous saurez maintenant qu'il n'y a pas à s'inquiéter sur un système Ubuntu où vous ne voyez pas de processus mysqld_safe tourne !</div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-21924492287778479362010-08-23T01:42:00.001-07:002010-08-24T07:15:02.736-07:00Rechercher des motifs dans une arborescence de code source<div xmlns='http://www.w3.org/1999/xhtml'>J'ai découvert le soft global disponible dans les dépôt ubuntu et debian. Cet outil permet de tagger du code écrit en C, C++, Yacc, Java et PHP4, ce qui vous servira si vous voulez rechercher un pattern et par exemple modifier directement le fichier concerné.<br/><br/>Commençons par installer le produit sur un serveur ubuntu :<br/><br/><div class='code'>sudo apt-get install global<br/>Lecture des listes de paquets... Fait<br/>Construction de l'arbre des dépendances <br/>Lecture des informations d'état... Fait<br/>Paquets suggérés :<br/> doxygen apache httpd id-utils<br/>Les NOUVEAUX paquets suivants seront installés :<br/> global<br/>0 mis à jour, 1 nouvellement installés, 0 à enlever et 0 non mis à jour.<br/>Il est nécessaire de prendre 532ko dans les archives.<br/>Après cette opération, 1 323ko d'espace disque supplémentaires seront utilisés.<br/>Réception de :1 http://mc.archive.ubuntu.com/ubuntu/ lucid/universe global 5.7.1-1 [532kB]<br/>532ko réceptionnés en 0s (1 721ko/s)<br/>Sélection du paquet global précédemment désélectionné.<br/>(Lecture de la base de données... 197595 fichiers et répertoires déjà installés.)<br/>Dépaquetage de global (à partir de .../global_5.7.1-1_amd64.deb) ...<br/>Traitement des actions différées (« triggers ») pour « man-db »...<br/>Traitement des actions différées (« triggers ») pour « install-info »...<br/>Paramétrage de global (5.7.1-1) ...<br/>Ignoring install-info called from maintainer script<br/>The package global should be rebuilt with new debhelper to get trigger support</div><br/>Récupérons les sources d'un projet (nous allons avoir besoin de git dans l'exemple)<br/><br/><div class='code'>apt-get install git-core<br/>Reading package lists... Done<br/>Building dependency tree <br/>Reading state information... Done<br/>The following extra packages will be installed:<br/> libdigest-sha1-perl liberror-perl<br/>Suggested packages:<br/> git-doc git-arch git-cvs git-svn git-email git-daemon-run git-gui gitk gitweb<br/>The following NEW packages will be installed:<br/> git-core libdigest-sha1-perl liberror-perl<br/>0 upgraded, 3 newly installed, 0 to remove and 48 not upgraded.<br/>Need to get 5,673kB of archives.<br/>After this operation, 11.9MB of additional disk space will be used.<br/>Do you want to continue [Y/n]? <br/>Get:1 http://us.archive.ubuntu.com/ubuntu/ lucid/main liberror-perl 0.17-1 [23.8kB]<br/>Get:2 http://us.archive.ubuntu.com/ubuntu/ lucid/main libdigest-sha1-perl 2.12-1build1 [26.2kB]<br/>Get:3 http://us.archive.ubuntu.com/ubuntu/ lucid/main git-core 1:1.7.0.4-1 [5,623kB]<br/>Fetched 5,673kB in 1s (4,984kB/s) <br/>Selecting previously deselected package liberror-perl.<br/>(Reading database ... 32518 files and directories currently installed.)<br/>Unpacking liberror-perl (from .../liberror-perl_0.17-1_all.deb) ...<br/>Selecting previously deselected package libdigest-sha1-perl.<br/>Unpacking libdigest-sha1-perl (from .../libdigest-sha1-perl_2.12-1build1_i386.deb) ...<br/>Selecting previously deselected package git-core.<br/>Unpacking git-core (from .../git-core_1%3a1.7.0.4-1_i386.deb) ...<br/>Processing triggers for man-db ...<br/>Setting up liberror-perl (0.17-1) ...<br/>Setting up libdigest-sha1-perl (2.12-1build1) ...<br/>Setting up git-core (1:1.7.0.4-1) ...<br/><br/>git clone http://github.com/Intel/wow.git<br/>Initialized empty Git repository in /home/cyril/src-repo/git-repo/wow/.git/<br/>remote: Counting objects: 5170, done.<br/>remote: Compressing objects: 100% (4124/4124), done.<br/>remote: Total 5170 (delta 1184), reused 4963 (delta 1009)<br/>Receiving objects: 100% (5170/5170), 8.88 MiB | 2.89 MiB/s, done.<br/>Resolving deltas: 100% (1184/1184), done.<br/><br/>cd wow/src</div><br/>Pour indexer les fichiers nous utiliserons la commande gtags qui crée les fichiers GTAGS GPATH GRTAGS GSYMS utilisés par global pour nos futures recherches.<span class='fullpost'>Etant donné que le répertoire contient des fichiers autres que des fichiers sources c++ (.cpp et .h), on utilise la commande find pour les filtrer :<br/><br/><div class='code'>find . -name "*.cpp" -o -name "*.h"|gtags -v -f -<br/>[Mon Aug 22 09:39:52 CEST 2010] Gtags started.<br/> Using default configuration.<br/>[Mon Aug 22 09:39:52 CEST 2010] Creating 'GTAGS'.<br/> [1] extracting tags of tools/git_id/git_id.cpp<br/> [2] extracting tags of tools/map_extractor/wdt.cpp<br/> [3] extracting tags of tools/map_extractor/adt.cpp<br/> [4] extracting tags of tools/map_extractor/loadlib.cpp<br/> [5] extracting tags of tools/map_extractor/mpq_libmpq.cpp<br/> [6] extracting tags of tools/map_extractor/wdt.h<br/> [7] extracting tags of tools/map_extractor/adt.h<br/> [8] extracting tags of tools/map_extractor/dbcfile.cpp<br/> [9] extracting tags of tools/map_extractor/System.cpp<br/>..<br/> [1096/1099] extracting tags of server/shared/Threading/Threading.cpp<br/> [1097/1099] extracting tags of server/shared/Threading/LockedQueue.h<br/> [1098/1099] extracting tags of server/shared/Threading/Threading.h<br/> [1099/1099] extracting tags of server/shared/Threading/DelayExecutor.cpp<br/>[Mon Aug 22 09:40:18 CEST 2010] Done.</div><br/>Tous les fichiers sont à présent indexés. On peut vérifier la taille des fichiers générés par gtags :<br/><br/><div class='code'>du -sh G*<br/>280K GPATH<br/>3,2M GRTAGS<br/>6,6M GSYMS<br/>2,1M GTAGS</div><br/>Vous pouvez aussi choisir de les placer ailleurs, mais je vous laisse le faire en exercice. Ce qui est intéressant dans cet outil c'est qu'il est possible de rechercher la définition d'une fonction aussi simplement que :<br/><br/><div class='code'>global -x EndQuery<br/>EndQuery 60 server/shared/Database/QueryResult.cpp void QueryResult::EndQuery()</div><br/>On peut aussi vouloir rechercher les références à cette fonction dans le code :<br/><br/><div class='code'>global -rx EndQuery<br/>EndQuery 37 server/shared/Database/QueryResult.cpp EndQuery();<br/>EndQuery 50 server/shared/Database/QueryResult.cpp EndQuery();<br/>EndQuery 59 server/shared/Database/QueryResult.h void EndQuery();</div><br/>Comme vous le voyez il est possible de faire des recherches intéressantes. Il est aussi possible d'utiliser des expressions régulières et de rechercher des motifs diverses :<br/><br/><div class='code'>global -gx mCurrentRow<br/>mCurrentRow 28 server/shared/Database/QueryResult.cpp mCurrentRow = new Field[mFieldCount];<br/>mCurrentRow 29 server/shared/Database/QueryResult.cpp ASSERT(mCurrentRow);<br/>mCurrentRow 32 server/shared/Database/QueryResult.cpp mCurrentRow[i].SetType(ConvertNativeType(fields[i].type));<br/>mCurrentRow 55 server/shared/Database/QueryResult.cpp mCurrentRow[i].SetValue(row[i]);<br/>mCurrentRow 62 server/shared/Database/QueryResult.cpp if (mCurrentRow)<br/>mCurrentRow 64 server/shared/Database/QueryResult.cpp delete [] mCurrentRow;<br/>mCurrentRow 65 server/shared/Database/QueryResult.cpp mCurrentRow = 0;<br/>mCurrentRow 45 server/shared/Database/QueryResult.h Field *Fetch() const { return mCurrentRow; }<br/>mCurrentRow 47 server/shared/Database/QueryResult.h const Field & operator [] (int index) const { return mCurrentRow[index]; }<br/>mCurrentRow 53 server/shared/Database/QueryResult.h Field *mCurrentRow;</div><br/>Reportez vous à la documentation pour en savoir plus. Dernier outil que je trouve très intéressant est le wrapper globash qui permet en plus de se promener directement dans les fichiers à partir des résultats obtenus. Pour cela, lancez la commande globash et acceptez de créer le répertoire .globash lors du premier lancement :<br/><br/><div class='code'>globash <br/><br/>GloBash --- Global facility for Bash<br/><br/>GloBash needs working directory.<br/><br/>Create '/home/cyril/.globash'? ([y]/n) y<br/><br/>Created.<br/><br/>Welcome to Globash! When you need help, please type 'ghelp'.</div><br/>Vous pouvez ensuite utiliser les mêmes commandes mais sans l'option x qui est activée par défaut :<br/><br/><div class='code'>[/home/cyril/src-repo/git-repo/wow/src] <b>g </b>mCurrentRow<br/>> 1 mCurrentRow 28 server/shared/Database/QueryResult.cpp mCurrentRow = new Field[mFieldCount];<br/> 2 mCurrentRow 29 server/shared/Database/QueryResult.cpp ASSERT(mCurrentRow);<br/> 3 mCurrentRow 32 server/shared/Database/QueryResult.cpp mCurrentRow[i].SetType(ConvertNativeType(fields[i].type));<br/> 4 mCurrentRow 55 server/shared/Database/QueryResult.cpp mCurrentRow[i].SetValue(row[i]);<br/> 5 mCurrentRow 62 server/shared/Database/QueryResult.cpp if (mCurrentRow)<br/> 6 mCurrentRow 64 server/shared/Database/QueryResult.cpp delete [] mCurrentRow;<br/> 7 mCurrentRow 65 server/shared/Database/QueryResult.cpp mCurrentRow = 0;<br/> 8 mCurrentRow 45 server/shared/Database/QueryResult.h Field *Fetch() const { return mCurrentRow; }<br/> 9 mCurrentRow 47 server/shared/Database/QueryResult.h const Field & operator [] (int index) const { return mCurrentRow[index]; }<br/> 10 mCurrentRow 53 server/shared/Database/QueryResult.h Field *mCurrentRow;</div><br/>Vous pouvez lister à nouveau les résultats obtenus :<br/><br/><div class='code'>[/home/cyril/src-repo/git-repo/wow/src] <b>list</b><br/>> 1 mCurrentRow 28 server/shared/Database/QueryResult.cpp mCurrentRow = new Field[mFieldCount];<br/> 2 mCurrentRow 29 server/shared/Database/QueryResult.cpp ASSERT(mCurrentRow);<br/> 3 mCurrentRow 32 server/shared/Database/QueryResult.cpp mCurrentRow[i].SetType(ConvertNativeType(fields[i].type));<br/> 4 mCurrentRow 55 server/shared/Database/QueryResult.cpp mCurrentRow[i].SetValue(row[i]);<br/> 5 mCurrentRow 62 server/shared/Database/QueryResult.cpp if (mCurrentRow)<br/> 6 mCurrentRow 64 server/shared/Database/QueryResult.cpp delete [] mCurrentRow;<br/> 7 mCurrentRow 65 server/shared/Database/QueryResult.cpp mCurrentRow = 0;<br/> 8 mCurrentRow 45 server/shared/Database/QueryResult.h Field *Fetch() const { return mCurrentRow; }<br/> 9 mCurrentRow 47 server/shared/Database/QueryResult.h const Field & operator [] (int index) const { return mCurrentRow[index]; }<br/> 10 mCurrentRow 53 server/shared/Database/QueryResult.h Field *mCurrentRow;</div><br/>Mieux encore, vous pouvez demander à vous rendre directement à la ligne du fichier concerné (cela s'appuie sur la définition de la variable EDITOR)<br/><br/><div class='code'>[/home/cyril/src-repo/git-repo/wow/src] <b>show</b> 2<br/>[/home/cyril/src-repo/git-repo/wow/src] <b>l</b><br/> 1 mCurrentRow 28 server/shared/Database/QueryResult.cpp mCurrentRow = new Field[mFieldCount];<br/>> 2 mCurrentRow 29 server/shared/Database/QueryResult.cpp ASSERT(mCurrentRow);<br/> 3 mCurrentRow 32 server/shared/Database/QueryResult.cpp mCurrentRow[i].SetType(ConvertNativeType(fields[i].type));<br/> 4 mCurrentRow 55 server/shared/Database/QueryResult.cpp mCurrentRow[i].SetValue(row[i]);<br/> 5 mCurrentRow 62 server/shared/Database/QueryResult.cpp if (mCurrentRow)<br/> 6 mCurrentRow 64 server/shared/Database/QueryResult.cpp delete [] mCurrentRow;<br/> 7 mCurrentRow 65 server/shared/Database/QueryResult.cpp mCurrentRow = 0;<br/> 8 mCurrentRow 45 server/shared/Database/QueryResult.h Field *Fetch() const { return mCurrentRow; }<br/> 9 mCurrentRow 47 server/shared/Database/QueryResult.h const Field & operator [] (int index) const { return mCurrentRow[index]; }<br/> 10 mCurrentRow 53 server/shared/Database/QueryResult.h Field *mCurrentRow;</div><br/>Vous pouvez taper exit pour sortir ou ghelp pour en savoir plus.<br/><br/>Cet outil est vraiment très rapide pour indexer le contenu et très utile avec son wrapper pour se balader directement dans les fichiers et effectuer des modifications si nécessaire. N'oubliez pas bien sûr de rafraîchir le contenu indexé ensuite en ajoutant -i à la commande initiale pour activer l'indexation incrémentale (Vous pouvez bien sûr retirer l'option -v qui active le mode verbeux) :<br/><br/><div class='code'>find . -name "*.cpp" -o -name "*.h"|gtags -i -v -f -<br/>checking /home/cyril/src-repo/git-repo/wow/src/GTAGS<br/>GTAGS found at '/home/cyril/src-repo/git-repo/wow/src/GTAGS'.<br/>[Mon Aug 22 10:08:12 CEST 2010] Gtags started.<br/> Using default configuration.<br/> Tag found in '/home/cyril/src-repo/git-repo/wow/src'.<br/> Incremental update.<br/> Global databases are up to date.<br/>[Mon Aug 22 10:08:12 CEST 2010] Done.</div><br/>Je m'étais aussi intéressé à l'outil gonzui qui est aussi disponible sous forme de paquet et s'appuie sur <a href='http://lesdatabases.blogspot.com/2010/08/berkeley-db-5026.html'>BerkeleyDB</a> pour stocker ses tags. Cependant, cet outil est beaucoup plus lent que global à l'indexation puisque que l'on passe de 3 à 130 secondes, et aussi lors des recherches sur des expressions régulières. Il ne dispose pas d'un wrapper semblable à globash qui est sans nul doute très utile lorsqu'il faut débugger, et occupe nécessite beaucoup plus de places que global (167 Mo contre 13 Mo).<br/><br/>Voilà, j'espère que ce billet vous sera utile dans vos prochaines investigations sur du code concernant les bases de données ou autres, mais comme vous avez pu le remarquer j'ai sciemment cherché un exemple dans la branche database :)</span><br/><br/><br/></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-20447338543912712232010-08-05T10:23:00.001-07:002010-08-05T10:30:51.167-07:00Berkeley DB 5.0.26<div xmlns="http://www.w3.org/1999/xhtml">Pour ceux qui ne connaissent pas Berkeley DB (BDB), ou qui en ont vaguement entendu parler, sachez que si vous êtes sous un système opensource, vous avez de grande chances d'utiliser BDB sans même le savoir.<br /><br />Par exemple, si vous utilisez pidgin ou evolution vous utilisez BDB :<br /><br /><div class="code">~$ lsof -n|grep 'libdb-'|awk '{print $1," ",$9}'|sort|uniq<br />evolution /usr/lib/libdb-4.8.so<br />pidgin /usr/lib/libdb-4.8.so</div><br />Je peux par exemple voir sur mon système le nombre de paquets qui ont déclaré dépendre de BDB :<br /><br /><div class="code">~$ apt-cache rdepends libdb4.8| wc -l<br />96</div><br />On peut aussi en voir un aperçu :<br /><br /><div class="code">~$ apt-cache rdepends libdb4.8| head<br />libdb4.8<br />Reverse Depends:<br /> squidguard<br /> libapache2-mod-php5filter<br /> php5-cli<br /> php5-cgi<br /> openoffice.org-core<br /> libpam-modules<br /> libedata-cal1.2-6<br /> libedata-book1.2-2</div><br />Et encore ce ne sont que les paquets qui l'ont déclaré ! Tout ça pour vous dire que BDB est indispensable à tout système open-source qui se respecte. Mais qu'est-ce que BDB ?<span class="fullpost"><br /><br />BDB est une bibliothèque permettant d'opérer sur des données (stockage, modification, recherche) et que l'on lie à une application pour lui fournir ce type de service. L'application peut être codée en utilisant des languages différents (JAVA, C++, C, Perl, PHP, Python, etc...) et choisi la structure la plus adaptée à ses données parmi les types Btree, Hash, Queue et Recno. (Vous pouvez consulter <a href="http://www.oracle.com/technology/documentation/berkeley-db/db/programmer_reference/index.html">la documentation</a> pour en savoir un peu plus sur ces différents types).<br /><br />BDB supporte les transactions <a href="http://en.wikipedia.org/wiki/ACID">ACID</a>, le multithreading et le multiprocessing, l'encryptage de l'environnement (répertoire stockant les données), l'indexation, les sauvegardes à chaud et la récupération des données en cas de crash (grâce à la journalisation des transactions), ainsi que la replication maître/esclaves !<br /><br />Sachez qu'il est possible de configurer les environnements participant à un groupe de réplication de sorte que les rôles de maître/esclaves soient redistribués (failover) en cas d'erreur sur le maître ou au niveau du canal de communication. Il est à noter que pour utiliser la réplication il est nécessaire de développer du code c, c++ ou java :(<br />Oracle qui a racheté la société Sleepycat Software propriétaire de BDB en février 2006 annonce une capacité de stockage en teraoctets et des milliards d'enregistrements !!<br /><br />Cette bibliothèque est disponible sous 2 licences :<br /><ul><li>commerciale</li><li>GPL (celle qui vous permet de l'utiliser sur votre système opensource)</li></ul>Il est à noter qu'étant une bibliothèque, il n'y a pas de serveur de données. l'application accède et manipule directement les fichiers physiques grâce au code de la bibliothèque BDB. De même, ce n'est pas un <a href="http://en.wikipedia.org/wiki/Relational_database_management_system">RDBMS</a> (relational database management system) ne supportant pas les relations entre les données stockées.<br /><br />Dans un prochain article je vous montrerai comment installer et utiliser rapidement un environnement BDB XML. Soyez patients ...<br /></div></span>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-26289740794280372702010-06-24T06:34:00.001-07:002010-06-24T06:35:10.145-07:00Un livre MySQL à acquérir<div xmlns="http://www.w3.org/1999/xhtml">Après 6 bons mois de rédactions, d'échanges de mails et de relectures, je vous annonce la sortie d'un nouveau livre sur MySQL 5 en français :<br /><a href="http://www.editions-eni.fr/Livres/MySQL-5-administration-et-optimisation/.5_3a6222cf-b921-41f5-886c-c989f77ba994_cb487b7e-d258-456f-9051-6cc0e5e2b22f_817f0d89-4a9c-49f7-ad91-63e24f3c9941_1_0_d9bd8b5e-f324-473f-b1fc-b41b421c950f.html">MySQL5, Administration et optimisation</a><br /><div class="entry"><p>Il reprend et explique tous les points propres à l'administration (configuration, mise à jour, sauvegardes/restaurations, maintenance, sécurité, ..) et à l'optimisation (nouvelles fonctionnalités, systèmes de caches, indexation, tuning, ..) en rendant abordables des concepts complexes.<br /></p><p>En attendant de vous le procurer, vous pouvez consulter la <a href="http://www.dbnewz.com/wp-content/uploads/2010/06/TDM_MySQL5_Admin_Optim.pdf">TDM_MySQL5_Admin_Optim</a> et un <a href="http://www.dbnewz.com/wp-content/uploads/2010/06/Extrait_MySQL5_Admin_Optim.pdf">Extrait_MySQL5_Admin_Optim</a> consacré aux verrous et transactions.</p><p>Inutile de vous dire que le livre est disponible dans toutes les bonnes librairies informatiques (FNAC, Amazon, ...). Pensez donc à vous le procurer pour l'étudier pendant vos vacances !</p></div></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-4417972251600111762010-05-03T09:33:00.001-07:002010-05-03T09:37:03.088-07:00MySQL Cluster impose des limites aux méta-données<div xmlns="http://www.w3.org/1999/xhtml">Lorsque vous mettez en place une configuration MySQL Cluster, ayez à l'esprit que celui-ci impose par défaut des limites aux méta-données. Vous ne pourrez donc pas créer autant de tables, d'index, de colonnes que vous le désirez sans modifier sa configuration. Il est possible de le faire plus tard, mais cela nécessitera d'effectuer un rolling restart (un redémarrage de l'ensemble des composants du cluster).<br />Voici les quelques paramètres qu'il faudra modifier selon les besoins de votre cluster (les valeurs par défaut sont indiquées entre parenthèses) :<br /><br />- MaxNoOfAttributes fixe le nombre maximum de colonnes pouvant être créées au total dans l'ensemble des tables stockées (1000)<br />- MaxNoOfOrderedIndexes fixe le nombre maximum d'index ordonnés (128)<br />- MaxNoOfUniqueHashIndexes, comme le précédent mais pour les index uniques (64)<br />- MaxNoOfTables fixe le nombre maximum de tables (128)<br /><br />Vous pourrez donc modifier la section [NDBD DEFAULT] de votre fichier de configuration ndb_mgmd.cnf et y ajouter la configuration suivante par exemple :<br /><br /><div class="code">MaxNoOfAttributes=10000<br />MaxNoOfOrderedIndexes=3000<br />MaxNoOfUniqueHashIndexes=1500<br />MaxNoOfTables=1000<br /></div><br />Pour plus d'information, vous pouvez visiter la documentation en ligne à l'adresse <a href="http://dev.mysql.com/doc/mysql-cluster-excerpt/5.1/en/mysql-cluster-mgm-definition.html">http://dev.mysql.com/doc/mysql-cluster-excerpt/5.1/en/mysql-cluster-mgm-definition.html</a><br /><br />Vous ne pourrez pas dire que vous n'avez pas été prévenu :)<br /></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-6850395228465193232010-03-26T10:17:00.000-07:002010-03-26T10:18:13.988-07:002 bases exemple pour MySQL<div xmlns="http://www.w3.org/1999/xhtml">Sur le site de MySQL vous pouvez télécharger les bases sakila et world afin de vous familiariser avec le SGBD.<br />Pour installer ces 2 bases sur votre serveur sous Ubuntu, suivez la procédure suivante :<br /><br /><div class="code">sudo wget -c http://downloads.mysql.com/docs/sakila-db.tar.gz<br />sudo tar Ozvxf sakila-db.tar.gz sakila-db/sakila-schema.sql|sudo mysql --defaults-file=/etc/mysql/debian.cnf<br />sudo tar Ozvxf sakila-db.tar.gz sakila-db/sakila-data.sql|sudo mysql --defaults-file=/etc/mysql/debian.cnf sakila<br /><br />sudo wget http://downloads.mysql.com/docs/world.sql.gz<br />sudo mysql --defaults-file=/etc/mysql/debian.cnf -e 'CREATE DATABASE world'<br />sudo zcat world.sql.gz|sudo mysql --defaults-file=/etc/mysql/debian.cnf world</div><br />Voila vos 2 bases sont créées et prêtes à être utilisées :<br /><br /><div class="code">sudo mysql --defaults-file=/etc/mysql/debian.cnf<br />Welcome to the MySQL monitor. Commands end with ; or \g.<br />Your MySQL connection id is 46<br />Server version: 5.1.37-1ubuntu5.1 (Ubuntu)<br /><br />Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.<br /><br />mysql> SELECT count(*) TABLES, table_schema, <br /> -> concat(round(sum(table_rows)/1000000,2),'M') rows,<br /> -> concat(round(sum(data_length)/(1024*1024),2),'M') DATA,<br /> -> concat(round(sum(index_length)/(1024*1024),2),'M') idx,<br /> -> concat(round(sum(data_length+index_length)/(1024*1024),2),'M') total_size,<br /> -> round(sum(index_length)/sum(data_length),2) idxfrac<br /> -> FROM information_schema.TABLES<br /> -> WHERE table_schema IN ('sakila','world')<br /> -> GROUP BY table_schema;<br />+--------+--------------------+-------+--------+-------+------------+---------+<br />| TABLES | table_schema | rows | DATA | idx | total_size | idxfrac |<br />+--------+--------------------+-------+--------+-------+------------+---------+<br />| 23 | sakila | 0.05M | 4.10M | 2.52M | 6.62M | 0.62 |<br />| 3 | world | 0.01M | 0.36M | 0.07M | 0.43M | 0.19 |<br />+--------+--------------------+-------+--------+-------+------------+---------+<br />2 rows in set (0,03 sec)<br /><br />mysql> exit<br />Bye<br /></div><br />Pour en savoir plus sur ces 2 bases vous pouvez vous rendre sur le site web de MySQL aux adresses <a href="http://dev.mysql.com/doc/sakila/en/sakila.html">http://dev.mysql.com/doc/sakila/en/sakila.html</a> et <a href="http://dev.mysql.com/doc/world-setup/en/world-setup.html">http://dev.mysql.com/doc/world-setup/en/world-setup.html</a><br /><br />A vous de jouer !<br /></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-28241312163181859632010-02-18T01:02:00.003-08:002010-02-18T01:15:33.950-08:00MySQL Cluster 7.1<div xmlns="http://www.w3.org/1999/xhtml">La version 7.1 du moteur de stockage NDB n'est pas encore sortie mais on peut déjà savoir quelles seront les prochaines nouveautés non garanties pour le moment :<br /><br />- Deux nouveaux connecteurs JAVA<br /><br />ClusterJ et ClusterJPA permettent d'accéder au cluster MySQL sans utiliser de serveur MySQL (ni JDBC) ou pour le second de passer ou non par un serveur MySQL si la requête exécutée peut être améliorée par l'optimiseur MySQL.<br /><br />Cette base permet d'accéder à des informations tel que la mémoire utilisée (table <a href="http://dev.mysql.com/doc/refman/5.1/en/mysql-cluster-ndbinfo-memoryusage.html">memoryusage</a>), le statut des noeuds (table <a href="http://dev.mysql.com/doc/refman/5.1/en/mysql-cluster-ndbinfo-nodes.html">nodes</a>), etc... nécessitant auparavant l'utilisation des commandes ALL DUMP {CODE}<br /><br />- Une nouvelle base de données nommé ndbinfo<br /><br />Cette base permet d'accéder à des informations tel que la mémoire utilisée (table <a href="http://dev.mysql.com/doc/refman/5.1/en/mysql-cluster-ndbinfo-memoryusage.html">memoryusage</a>), le statut des noeuds (table <a href="http://dev.mysql.com/doc/refman/5.1/en/mysql-cluster-ndbinfo-nodes.html">nodes</a>), etc... nécessitant auparavant l'utilisation des commandes ALL DUMP {CODE}<br /><br />- Le support natif des valeurs par défaut des colonnes<br /><br />Les valeurs par défaut des colonnes sont à présent stockées dans le noyau NDB et non par le serveur MySQL. Ceci permet au serveur MySQL de ne plus avoir à transférer ces données aux noeuds et donc potentiellement d'accélérer les requêtes d'insertions<br /><br />- Une nouvelle option (--nowait-nodes) pour les managers<br /><br />Cette option permet de ne plus avoir besoin de démarrer plus d'un manager pour démarrer un cluster configuré avec plusieurs managers.<br /><br />Pour suivre l'évolution de ces fonctionnalités n'hésitez pas à consulter <a href="http://dev.mysql.com/doc/refman/5.1/en/mysql-cluster-development-5-1-ndb-7-1.html">la page dédiée</a>.<br /></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-34284801580141104892010-02-18T01:02:00.001-08:002010-02-18T01:15:13.340-08:00Récupérez les dernières versions de MySQL Cluster 7.X<div xmlns="http://www.w3.org/1999/xhtml">Nous avons déjà vu dans un <a href="http://lesdatabases.blogspot.com/2008/12/mysql-cluster-64.html">billet précédent</a> les nouveautés de la version 7.0 (ancienne 6.4 renommée).<br /><br />Il est cependant important de pouvoir vérifier l'arrivée des nouvelles versions sur le dépot officiel, et pourquoi pas de les récupérer pour les tester. Pour cela voici les commandes que j'utilise :<br /><br />- Pour vérifier l'arrivée de nouvelles versions, je m'appuie sur les dates de création des répertoires<br /><br /><div class="code">export LANG=C<br />wget -O - -q ftp://ftp.mysql.com/pub/mysql/download/cluster_telco/|grep Directory|awk -FDirectory '!/old/ {print $1}'|perl -MDate::Manip -lne 'if(Date_Cmp(ParseDate($_),ParseDate("2010 Feb 15 21:27"))>0){print "Nouvelle version disponible !";exit}'</div><br />- Pour récupérer les nouvelles versions disponibles j'utilise l'alias mirror_mysql_cge que j'ai défini ainsi :<br /><br /><div class="code">alias mirror_mysql_cge='(cd /var/www && wget -nH --cut-dirs 3 -rc -R "mysqlcom*" -A "*-7.*.gz" --exclude-directories=/pub/mysql/download/cluster_telco/old,/pub/mysql/download/cluster_telco/newbuilds,/pub/mysql/download/cluster_telco/*-6.*,/pub/mysql/download/cluster_telco/*/*-6.*,/pub/mysql/download/cluster_telco/evaluation* ftp://ftp.mysql.com/pub/mysql/download/cluster_telco/)'</div><br />A chaque récupération de nouvelles archives il est cependant obligatoire de modifier la date utilisée dans la commande wget pour repérer la dernière archive récupérée. Pour obtenir cette date, la commande suivante sera d'un grand secours :<br /><br /><div class="code">export LANG=C<br />wget -O - -q ftp://ftp.mysql.com/pub/mysql/download/cluster_telco/|grep Directory|awk -FDirectory '!/old/ {if(index($1,":")){print $1}}'| tr '\n' , |sed 's/,$//'|perl -MDate::Manip -MMemoize -lne 'sub sortDate {(Date_Cmp(ParseDate($a),ParseDate($b)))} print [reverse sort sortDate split(",",$_)]->[0]'</div><br />Ainsi je retrouverai toutes les versions 7.X sous l'arborescence /var/www/cluster_telco<br /></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-60691580081623597162010-01-04T07:11:00.001-08:002010-01-05T04:17:19.866-08:00Nouvelles fonctionnalités dans le partitionnement de MySQL 5.5<div xmlns='http://www.w3.org/1999/xhtml'>Etant donné que cela fait un long moment que je n'ai pas bloggé je vais tenter de me rattrapper un peu :)<br/><br/>Je me suis penché sur l'une des nouvelles fonctionnalités de MySQL 5.5 concernant le partitionnement multi-colonnes en mode RANGE sur des types qui ne sont plus limités à l'entier.<br/><br/>En effet, il est possible de partitionner une table t1 sur 2 colonnes comme suit :<br/><br/><div class='code'>CREATE TABLE t1 (<br/>valeur TINYINT UNSIGNED NOT NULL,<br/>quand DATE NOT NULL,<br/>libelle varchar(120)<br/>)<br/>PARTITION BY RANGE COLUMNS(valeur,quand) (<br/> PARTITION p0 VALUES LESS THAN (10,'2006-10-02'),<br/> PARTITION p1 VALUES LESS THAN (10,'2008-04-12'),<br/> PARTITION p2 VALUES LESS THAN (100,MAXVALUE),<br/> PARTITION p3 VALUES LESS THAN (MAXVALUE,MAXVALUE)<br/>);</div><br/>Cependant l'algorithme qui répartit les données sur les différentes partitions créées n'est pas si intuitif que cela. Ainsi, j'imaginais dans un premier temps que l'enregistrement (100,'2005-10-02') ne pouvait se retrouver dans la partition p2 car 100 n'est pas inférieur à 100 ! En effet, je pensais que l'opérator LESS THAN sur un couple sous entendait que pour qu'un enregistrement (valeur,quand,libelle) appartienne à la partition p0 il fallait que valeur<10 et quand<'2006-10-02'. <br/>Or ce n'est pas le cas, la preuve :<br/><br/><div class='code'>mysql> SELECT IF(10<10,'TRUE','FALSE'),IF('2005-10-02'<'2006-10-02','TRUE','FALSE'),IF((10,'2005-10-02')<(10,'2006-10-02'),'TRUE','FALSE')\G<br/>*************************** 1. row ***************************<br/> IF(10<10,'TRUE','FALSE'): FALSE<br/> IF('2005-10-02'<'2006-10-02','TRUE','FALSE'): TRUE<br/>IF((10,'2005-10-02')<(10,'2006-10-02'),'TRUE','FALSE'): TRUE</div><br/>Il faut dire qu'entre la documentation officielle qui a été corrigée (<a href='http://bugs.mysql.com/bug.php?id=49875'>BUG 49875</a>) suite à mon premier <a href='http://bugs.mysql.com/bug.php?id=49861'>BUG 49861</a>, et l'<a href='http://dev.mysql.com/tech-resources/articles/mysql_55_partitioning.html'>article de Giuseppe Maxia</a> qui affirmait que si toutes les premières valeurs des listes de colonnes assignées aux partitions étaient différentes alors le partitionnement était identique au partitionnement sur cette seule colonne (corrigé depuis) j'ai un peu perdu la tête...<br/><br/>Cependant, cette histoire a bien fait de débuter puisqu'elle a débouché sur la correction de la documentation officielle, la correction d'un article avancé sur les nouveautés de la 5.5 concernant le partitionnement et sur la remise en cause des mots clés LESS THAN dans ce type de partitionnement avec une proposition de remplacement par NO GREATER THAN ou RANGE BOUNDED BY. <br/><br/>Nous verrons bien ce qu'il se passera dans les semaines à venir.</div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-18435349342308210192009-08-03T08:59:00.001-07:002009-08-17T06:50:28.036-07:00Upgrade MySQL Cluster 6.3 vers 7.0 pas si online que ça !Ne vous fiez pas tout le temps à la documentation MySQL car il se peut que vous rencontriez soit un BUG fonctionnel, soit un BUG documentaire, c'est à dire que le support vous signale qu'en fait le comportement rencontré est normal et que la documentation va tout simplement être mise à jour.<br/><span class='fullpost'><br/>C'est pourquoi, préparant un upgrade de MySQL Cluster 6.3 vers MySQL 7.0.6, j'ai préféré tester la procédure, étape qui de toutes les façons est primordiale. Ce fut l'occasion de m'apercevoir que la mise à jour se déroule correctement mais qu'il n'est plus possible d'effectuer des ordres DDL (ALTER TABLE, CREATE TABLE, etc...) ou d'effectuer une sauvegarde binaire en utilisant la console ndb_mgm. Pour information, j'ai ouvert un bug report au support accessible sur <a href='http://bugs.mysql.com/bug.php?id=46494'>http://bugs.mysql.com/bug.php?id=46494</a>.<br/>En attendant, la seule méthode viable pour mettre à jour le cluster est de démarrer les noeuds en mode "initial", étape qui vide tous les fichiers et recrée les logs de récupération, et recharger les données à partir d'un dump MySQL. Vous l'aurez compris cela demande donc un arrêt de service puisque les données du cluster ne seront plus accessibles avant que le chargement des données ne soit terminé.<br/></span>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-28827173204022191372009-05-26T05:49:00.003-07:002009-05-26T05:51:05.839-07:002 managers ndb_mgmd dans une config MySQL Cluster<div xmlns='http://www.w3.org/1999/xhtml'>Lorsque l'on modifie des paramètres de mémoire ou autres qui ne nécessitent pas de recréer le cluster, contrairement au nombre de noeuds pour les versions du moteur NDB < 7.0, il est nécessaire de faire un <a href='http://dev.mysql.com/doc/refman/5.1/en/mysql-cluster-rolling-restart.html'>Rolling Restart</a>. Cependant, dans le cas d'une configuration à plusieurs managers il est nécessaire de tous les arrêter au même moment.<span class='fullpost'> Ceci est dû au fait que tant qu'un manager est actif c'est sa configuration qui prime. L'impact est que le redémarrage tour à tour des managers entraînera la conservation de l'ancienne configuration de départ, ce qui n'est pas le résultat attendu.</span></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-60355345665356868632009-05-12T08:54:00.001-07:002009-05-12T08:57:05.821-07:00Index et valeurs nullesUne différence importante entre MySQL et Oracle est l'indexation. En effet, Oracle n'indexe pas les données entièrement nulles. Par entièrement cela signifie que si vous indexez 2 colonnes, le couple null ne sera pas stocké dans l'index et cela a son importance !<br /><br />Par exemple, si nous utilisons le schema SCOTT pour tenter d'utiliser un index sur une colonne pouvant être nulle :<br /><br /><div class="code">SQL> select * from emp;<br /><br /> EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO<br />---------- ---------- --------- ---------- --------- ---------- ---------- ----------<br /> 7369 SMITH CLERK 7902 17-DEC-80 800 20<br /> 7499 ALLEN SALESMAN 7698 20-FEB-81 1600 300 30<br /> 7521 WARD SALESMAN 7698 22-FEB-81 1250 500 30<br /> 7566 JONES MANAGER 7839 02-APR-81 2975 20<br /> 7654 MARTIN SALESMAN 7698 28-SEP-81 1250 1400 30<br /> 7698 BLAKE MANAGER 7839 01-MAY-81 2850 30<br /> 7782 CLARK MANAGER 7839 09-JUN-81 2450 10<br /> 7788 SCOTT ANALYST 7566 19-APR-87 3000 20<br /> 7839 KING PRESIDENT 17-NOV-81 5000 10<br /> 7844 TURNER SALESMAN 7698 08-SEP-81 1500 0 30<br /> 7876 ADAMS CLERK 7788 23-MAY-87 1100 20<br /> 7900 JAMES CLERK 7698 03-DEC-81 950 30<br /> 7902 FORD ANALYST 7566 03-DEC-81 3000 20<br /> 7934 MILLER CLERK 7782 23-JAN-82 1300 10<br /><br />14 rows selected.<br /><br />SQL> create index idx_emp_ename on emp(ename);<br /><br />Index created.<br /><br />SQL> set autotrace trace explain<br />SQL> select 1 from emp where ename is null;<br /><br />Execution Plan<br />----------------------------------------------------------<br />Plan hash value: 3956160932<br /><br />--------------------------------------------------------------------------<br />| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |<br />--------------------------------------------------------------------------<br />| 0 | SELECT STATEMENT | | 1 | 7 | 3 (0)| 00:00:01 |<br />|* 1 | TABLE ACCESS FULL| EMP | 1 | 7 | 3 (0)| 00:00:01 |<br />--------------------------------------------------------------------------<br /><br />Predicate Information (identified by operation id):<br />---------------------------------------------------<br /><br /> 1 - filter("ENAME" IS NULL)</div><br /><br />Oracle décide donc d'effectuer un FULL SCAN de la table car la donnée nulle ne pouvant être stockée dans un index il est nécessaire de parcourir la table entièrement. Ce qui n'est pas le cas si on index une colonne supplémentaire non nulle (le couple ne sera dans ce cas jamais nul)<span class="fullpost"><br /><br /><div class="code">SQL> create index idx_emp_ename_1 on emp(ename,1);<br /><br />Index created.<br /><br />SQL> select 1 from emp where ename is null;<br /><br />Execution Plan<br />----------------------------------------------------------<br />Plan hash value: 2365361045<br /><br />------------------------------------------------------------------------------------<br />| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |<br />------------------------------------------------------------------------------------<br />| 0 | SELECT STATEMENT | | 1 | 7 | 1 (0)| 00:00:01 |<br />|* 1 | INDEX RANGE SCAN| IDX_EMP_ENAME_1 | 1 | 7 | 1 (0)| 00:00:01 |<br />------------------------------------------------------------------------------------<br /><br />Predicate Information (identified by operation id):<br />---------------------------------------------------<br /><br /> 1 - access("ENAME" IS NULL)</div><br /><br />On peut donc en déduire l'importance de rajouter la contrainte not null quand vous savez que ce champ ne peut être null. En effet, un count(*) pourra dans ce cas effectuer un INDEX FULL SCAN sachant qu'aucune donnée ne peut être nulle et donc il n'y a aucune entrée qui manque dans l'index.<br /><br />Contrairement à Oracle, MySQL stocke aussi les valeurs nulles dans ses index comme l'indique la colonne NULL dans la sortie de la commande <a href="http://dev.mysql.com/doc/refman/5.1/en/show-index.html">"SHOW INDEX FROM MATABLE"</a>. Ainsi si l'on recherche le nombre d'entrée nulles d'une table, MySQL utilisera l'index disponible :<br /><br /><div class="code">mysql [localhost] {msandbox} (test) > explain select count(*) from t3 where id is null;<br />+----+-------------+-------+------+---------------+------+---------+-------+------+--------------------------+<br />| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |<br />+----+-------------+-------+------+---------------+------+---------+-------+------+--------------------------+<br />| 1 | SIMPLE | t3 | ref | id | id | 5 | const | 100 | Using where; <span style="font-weight: bold;">Using index</span> |<br />+----+-------------+-------+------+---------------+------+---------+-------+------+--------------------------+<br />1 row in set (0.00 sec)<br /><br />mysql [localhost] {msandbox} (test) > show index from t3;<br />+-------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+<br />| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |<br />+-------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+<br />| t3 | 1 | id | 1 | id | A | 1 | NULL | NULL | <span style="font-weight: bold;">YES</span> | BTREE | |<br />+-------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+<br />1 row in set (0.00 sec)</div><br />De la même manière il est important d'ajouter la contrainte NOT NULL si le champ ne sera jamais nul, ce qui permet à MySQL d'effectuer certaines optimisations et d'économiser un bit par enregistrement.<br /></span><div class="flockcredit" style="text-align: right; color: rgb(204, 204, 204); font-size: x-small;">Blogged with the <a href="http://www.flock.com/blogged-with-flock" style="color: rgb(153, 153, 153); font-weight: bold;" target="_new" title="Flock Browser">Flock Browser</a></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-41371406651197009372009-04-28T08:44:00.001-07:002009-04-28T08:44:17.565-07:00MySQL Conference 2009La 7ème conférence MySQL co-présentée par SUN, MySQL et Oreilly a eu lieu du 20 avril au 23 avril 2009 à Santa Clara. Pour les heureux participants ils ont eu droit à un ensemble assez impressionnant de <a href="http://www.mysqlconf.com/mysql2009/public/schedule/full">sessions</a>. Bien sûr, impossible de toutes les suivre, puisqu'un grand nombre d'entre elles étaient dispensées en parallèle. Cependant, nous avons la chance de pouvoir accéder aux slides de certaines dont les auteurs ont eu l'amabilité de les mettre à disposition sur <a href="http://www.mysqlconf.com/mysql2009/public/schedule/proceedings">mysqlconf</a>. <br /><br />Bonne lecture.<br /> <div class="flockcredit" style="text-align: right; color: #CCC; font-size: x-small;">Blogged with the <a href="http://www.flock.com/blogged-with-flock" style="color: #999; font-weight: bold;" target="_new" title="Flock Browser">Flock Browser</a></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-55495986454228180772009-04-20T10:49:00.001-07:002009-04-20T10:49:41.281-07:00Oracle rachète SUNEn janvier 2008, SUN rachetait MySQL AB pour 1 milliard de $. Eh bien, aujourd'hui Oracle a annoncé sur <a href="http://www.oracle.com/sun/index.html">son site</a> avoir accepté de racheter SUN pour 7 milliards de dollars. Il va falloir à nouveau s'interroger sur les conséquences, bonnes comme mauvaises, que cela pourra avoir pour les utilisateurs de MySQL.<br /> <div class="flockcredit" style="text-align: right; color: #CCC; font-size: x-small;">Blogged with the <a href="http://www.flock.com/blogged-with-flock" style="color: #999; font-weight: bold;" target="_new" title="Flock Browser">Flock Browser</a></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com0tag:blogger.com,1999:blog-8587666026975104980.post-36250820580185419362009-04-19T05:55:00.001-07:002009-04-20T12:08:09.205-07:00Perl 5.10 optimise le moteur d'expressions régulièresUne des nouvelles fonctionnalités de la 5.10 est l'utilisation d'algorithmes tels que <a href="http://en.wikipedia.org/wiki/Aho-Corasick_algorithm">Aho-Corasick</a> et <a href="http://en.wikipedia.org/wiki/Trie">Trie</a> (prefix tree) dans le moteur d'expressions régulières. Ainsi la recherche d'alternatives comme le pattern <span style="font-style: italic;">alt1|alt2|alt3|alt4|altN</span> aura une complexité en 0(1) et non plus en 0(N) avec N le nombre d'alternatives. Pour s'en convaincre, rien de mieux qu'un benchmarck entre les versions 5.8 et 5.10. Pour cela j'ai écrit un petit bout de code que vous pouvez récupérer <a href="http://sites.google.com/site/filesrepository01/Home/bench_with_tries.pl">ici</a>.<br />J'utilise le module Regexp::Trie de Dan Kogai qui permet d'optimiser la recherche d'alternatives ayant un suffixe (ou une partie) en commun<br /><br />Les résultats obtenus sont les suivants :<br /><br />a -> sans utilisation du module Regexp::Trie<br />b -> avec utilisation du module Regexp::Trie<br /><br /><div class="code"><span style="font-weight: bold;">Perl 5.8 :</span><br /><br />perl bench_with_tries.pl<br /> Rate a b<br />a 552/s -- -98%<br />b 26050/s 4620% --<br /><br /><br /><span style="font-weight: bold;">Perl 5.10 :</span><br /><br />perl bench_with_tries.pl<br /> Rate a b<br />a 20177/s -- -65%<br />b 57777/s 186% --</div><br /><br />On voit bien qu'en version 5.8 l'utilisation du module de Dan Kogai permet de multiplier par plus de 40 les performances, contrairement en 5.10 où les performances de base sont déjà satisfaisantes avec plus de 20 000 exécutions par seconde. Cependant, il est toujours utile d'utiliser ce module en 5.10 puisqu'on obtient près de 3 fois plus de performance.<br /><div class="flockcredit" style="text-align: right; color: rgb(204, 204, 204); font-size: x-small;">Blogged with the <a href="http://www.flock.com/blogged-with-flock" style="color: rgb(153, 153, 153); font-weight: bold;" target="_new" title="Flock Browser">Flock Browser</a></div>Cyril Scetbonhttp://www.blogger.com/profile/05787792882719474833noreply@blogger.com2