Taa Deem ! A few words about PostgreSQL and other things

pgBadger 3 : How to use the parallel mode

damien — Tue, 12 Mar 2013 22:49:00 +0000

Just like I said in a previous blog post : the pgBadger projet is moving fast ! Version 3 was released a few days ago with a major improvements : With the new parallel mode, you can now launch mutiple pgBagder process at once !

In others word, pgBadger is not bound to one cpu anymore. If you have multiple cores, you can now uses them to give more power and decrease the processing time. All you have to do is add the "-j N" option in the command line, where N is the number of cores you want to use. For instance :

$ pgbadger -j 4 /var/log/postgresql/postgresql-2013-02-*

Quick benchmark : We had 5 log files with a total volume of 9.5 GB. Here's the results

-j 1 : 1h41m18s
-j 2 : 50m25s
-j 4 : 25m39s
-j 8 : 15m58s

However it's important to note that the parallel mode has a little drawback. With this method, some queries may be truncated. If you enable N cores, then result may differ in a maximum of N queries per log file.

However, this is a minor issue: parallel mode is interesting if you have millions of queries to analyze. And if you have millions of queries in a log file, you can afford to loose a few as it's quite unlikely that the lost queries would have changed the overall results.

However, to avoid this problem, you can use the pgBadger "per-file parallel mode" to analyze your logs but with lower performance than the standard parallel mode. To enable this behaviour, you have to use the "-J N" option instead of "-j N". In per-file mode, the performances start being really interesting when there's hundreds of small log files (e.g. 10MB rotation size limit) and with at least 8 cores.

We believe this new improvement will be a significant change for pgBadger users. If you have used the parallel mode, please send us feed back on our mailing list or via the pgBadger twitter account !

And by the way, this is not the only big feature in pgBadger v3 ! For the complete list of changes, please checkout the release note on github

And of course stay tuned.... because version 4 is coming fast :-)

PG Day France 2013 : Encore quelques jours pour soumettre vos propositions

damien — Tue, 12 Mar 2013 22:08:00 +0000

Cette année encore la communauté francophone de PostgreSQL se réunira pour le PG Day France qui se tiendra à Nantes le 13 juin 2013.

L'occasion parfaite pour présenter une étude de cas, un projet en cours de développement ou une fonctionnalité de PostgreSQL !

L'appel à orateurs se terminera dans quelques jours, d'ici là n'hésitez pas à proposer une intervention !

http://pgday.fr/pgday2013:appel_a_orateurs

Refonte de pgBadger en HTML5 : premier aperçu

damien — Thu, 03 Jan 2013 22:06:00 +0000

PgBadger est un outil puissant pour optimiser vos serveurs PostgreSQL. À partir des fichiers log de vos serveurs, pgBadger va analyser le trafic SQL et produire une profusion de statistiques (les plus longues requêtes, le ratio lecture/écriture, etc.) Tout ceci est très utile, mais la quantité de données générée est si importante que les rapports générés par pgbadger sont difficiles à lire et que les stats utiles sont souvent noyées dans le flot ... Pour vous en convaincre, jetez un coup d'oeil sur cet exemple de rapport pgBadger !

comme je le disais dans mon article précédent , nous avons travaillé dur pour redéfinir l'expérience utilisateur de pgBadger et créer un nouveau modèle de rapport.

Voici donc le premier aperçu du nouveau prototype (pour l'instant il s'agit simplement de code HTML statique, nous espérons présenter une démo interactive dans les prochaines semaines).

Comme vous pouvez le voir, nous avons suivi quelques principes de base:

Divisez les grosses tables HTML en petites tables et utiliser des onglets pour naviguer de l'une à l'autre:

Laissez quelques espaces vides pour aérer et faciliter la lecture:

Masquer les tableaux derrière les graphes, lorsque c'est possible:

Mettre les infos détaillées dans des fenêtres popup que l'on peut masquer/afficher:

Mettre l'accent sur les «valeurs clés» en jouant sur la taille des polices:

Tout cela n'a rien d'extraordinaire et ce n'est pas très original... Mais ce nouveau design sera sûrement plus lisible et plus efficace. Nous espérons que cela va attirer de nouveaux utilisateurs et que cela sera apprécié par les utilisateurs existants.

Si vous avez des commentaires ou des idées, n'hésitez pas à rejoindre à la liste de discussion du projet pgBadger . Nous sommes à l'écoute !

pgBadger HTML5 overhaul : preview

damien — Thu, 03 Jan 2013 10:18:00 +0000

pgBadger is a powerful tool to optimize your PostgreSQL servers. Using your server log files, pgBadger will analyze the SQL traffic and produce a profusion of statistics (longest queries, read/write ratio, etc.). This is very helpful but the amount of data generated is so big that the pgbadger reports are hard to read and useful stats are often drown in the flood... Check out this sample pgBadger report to see the mess !

Since my previous blog post, we've been working hard to redefine the pgBadger user experience and create a new report template.

Here's the first draft of this new prototype (For now the draft is just static HTML code, we hope we'll have a live demo in the forthcoming weeks).

As you can we followed a few basic principles :

Split the big HTML tables in smaller tables and use tab navigation to switch :

Leave some blank spaces to make the report easier to read :

Hide big tables behind graphs, when possible :

Put "full details" in popup windows that can you can hide/show when you need it :

Emphasize "key values" using a bigger font size :

As you can see, there's nothing either out of the ordinary or very original here. But this new design will surely be easier to read and be more insightful. We hope it will attract new users, while being more helpful for the existing user base.

If you have any comment or ideas, please join the pgBadger mailing list and get involved !

pgBadger is moving fast

damien — Wed, 14 Nov 2012 14:44:00 +0000

When the pgBadger project started 6 month ago, our primary goal was to build a better performance tool for PostgreSQL. We also wanted it to be an open and dynamic project, built with the help of the Postgres community. So far the result is beyond our expectations : we've received dozens of user requests, bug reports and contributions.

Thanks to this community support, the project goes at a very fast pace ! Today Gilles Darold released pgBadger 2.2. This new version comes with a bunch of exciting new features:

Tsung support : This means you can now create benchmark scenarios based on the queries contained in your PostgreSQL logs
New parameters : For instance with --exclude-user you can now ignore a user in the generated reports. With --select-only you generate a report about the read queries...
Faster CSV log parsing (thanks to David Fetter)
Improved log format detection
And many bugfixes....

And there's more come ! We're currently working on two major enhancements :

Multi-threading is on it's way : The last limitations have been removed and there's now a clear path to implement parallel parsing of the log files. pgBadger is already quite fast, but this will make it even faster. Especially on servers with many CPUs.

HTML5 Overhaul : For now pgBadger reports look pretty much like the ones produces by pgFouine : i.e. it's just basic HTML aimed for a desktop screen. This was fine in 2005, but now we need a responsive design ! Reports must be more interactive and readable on any devices. This is a tough job and as DBAs we have limited design skills :-) So we decided to hire a professional web design company to help us with : the French company art is code will work with us to build a smarter report.

Of course, we will involve the community while working on these two major improvements. If you want to participate and just keep in touch with the project, please join the pgBadger mailing list. In a few week, we will submit the first draft of the new report design.

In a nutshell : If you don't know what pgBadger is, give it a try ! If you already use it, please upgrade to version 2.2 ! And if you've already installed v2.2, stay tuned because version 3 is coming fast !

By the way, we're not alone... The whole postgres community seems to be buzzing with brand new performance tools ! Over the past few weeks, at least 3 interesting projects popped up :

datascope is a nice tool to visualize pg_stat_statements data
pg_stat_plans allows you to lists SQL statements by execution plan, not just by query.
pgOtter is yet another small mammal trying to parse your PostgreSQL logs ;-)

At a personal level, I'm quite happy to see this happening and I bet this is just the beginning of a great move of the community toward better user-friendly tools for the PostgreSQL user base.

FOSDEM PGDay et Devroom 2013 - Annonce et Appel à Orateurs

damien — Tue, 13 Nov 2012 10:38:00 +0000

Les personnes présentes à Prague pour pgconf.eu 2012 ont déjà eu la primeur de cette annonce. Voici quelques détails complémentaires.

Le PG Day du FOSDEM est une journée de conférence qui se tiendra juste avant le FOSDEM à Bruxelles le 1er février 2013. Il s'agit d'un événement dédié à PostgreSQL avec une session unique. Cette journée, proposée au tarif de 50€, se tiendra à l’hôtel Radisson Blu Royal au centre de Bruxelles. Les réservations sont obligatoires car le nombre de places est limité. Les réservations ne sont pas encore ouvertes mais cela ne saurait tarder.

Pour plus de détails sur la conférence et l’hôtel, rendez-vous sur : http://fosdem2013.pgconf.eu/

PostgreSQL Europe proposera également un "devroom" durant le FOSDEM le dimanche 3 février à l'Université Libre de Bruxelles (ULB). Cette journée reste gratuite, sans réservation et ouverte à tous les participants du FOSDEM.

Voir le site du FOSDEM pour tous les détails: https://fosdem.org/2013/

Un appel à orateurs vient d'être lancé pour **les deux** événements. PostgreSQL Europe recherche des intervenants pour chacune de ces journées, avec des présentations destinées aussi bien aux connaisseurs qu'aux débutants.

Plus d'info sur cet appel : http://fosdem2013.pgconf.eu/callforpapers/

La date limite est fixée au 21 décembre mais certaines interventions pourront être approuvées en avance, donc envoyez vos propositions rapidement !

PostgreSQL Europe a négocié des tarifs auprès de 2 hôtels différents à Bruxelles. Chacun de ces hôtels a un nombre de places limités, il est donc conseillé de réserver le plus tôt possible.

Rendez-vous sur: http://fosdem2013.pgconf.eu/venue/

PS: Ceci est une traduction libre du message original situé ici : http://archives.postgresql.org/pgsql-announce/2012-11/msg00005.php

PostgreSQL Session #4 : From Oracle to PostgreSQL

damien — Fri, 12 Oct 2012 10:06:00 +0000

As a nice coincidence the 4th PostgreSQL Session held Thursday, October 4 which was also the last day of Oracle Open World conference. Suffice to say that the two events didn't share the same definition of the word "Open"!

As for the previous sessions organized by Dalibo, the room was full to listen to the various speakers.

The morning speeches were devoted to migration tools themselves with three main methods: ora2pg, ETL or Foreign Data Wrapper:

Jean-Paul Argudo opened the conference with a keynote to remind thechallenges of RDMS migrations.
Guillaume Lelarge began with a brief presentation of the new features of PostgreSQL 9.2
Gilles Darold continued with a zoom on ora2pg , the Oracle to PostgreSQL migration tool
Marc Cousin described how to use Kettle (an open source ETL)
Laurenz Albe, from Vienna, Austria, presented oracle_fdw , a data wrapper that can read Oracle tables from PostgreSQL

The afternoon was an overview of the alternatives to traditional Oracle tools, including

Gabriele Bartolini, founder of 2ndQuadrant Italy, presented Barman , a backup tool that follows RMAN's footsteps
Jehan-Guillaume De Rorthais described the new features of pgBadger , a fast PostgreSQL log analyzer
Finally Julien Rouhaud concluded with a presentation of PGXC , a solution for symmetric replication ("Master-Master") which is a serious alternative for Oracle RAC.

All presentations are available in PDF format here. Most the slides are in French, except Jean-Paul, Gabriele and Laurenz talks: http://www.postgresql-sessions.org/en/4/

For my part, I presented the following conclusions during the closing keynote:

1 - There are multiple ways to migrate from Oracle to PostgreSQL: according to your needs and the complexity of your database schema, you can use different tools. ora2pg is specialized and easy to implement. Kettle and other ETL are very powerful and useful if you need to transform the data. And finally oracle_fdw is an original solution to migrate smoothly.

2 - There's still some missing features in the PostgreSQL ecosystem: including comprehensive tools for partitioning or free alternatives to OEM. This leads many observers to judge that «Oracle is ahead of PostgreSQL». For my part, rather than looking at the position of each RDBMS at a given moment, I prefer to look at the innovation rate and the dynamic of each project ... And this 1-day conference showed us that the PostgreSQL community is currently in an extremely fertile and creative period. This extraordinary growth is the assurance that PostgreSQL will be a dominant RDBMS in the years to come. In other words: the PostgreSQL project is perhaps behind Oracle right now, but given its current speed it will quickly reach and surpass the competition.

3 - As stated by Jean-Paul during the opening keynote, a DBMS migration is 10% about tools and 90% about human. The good news is that open source is all about putting users above technology. Indeed, when moving from a proprietary database to PostgreSQL, the total cost of ownership (TCO) changes its nature: you no longer pay expensive licenses to a monopolistic giant. Instead your budget is redirected to "real services" (support, training, consulting) provided by local companies that are close to you. Switching to free software is not only a technical change, it is also (and above all) a revolution in the business relationships.

Finally, I would like to warmly thank all those who made this conference possible especially Laurentz Albe and Gabriele Bartolini.

The next PostgreSQL session will take place in early 2013. We are currently considering the theme of the day. Do not hesitate to submit your ideas and suggestions at contact@postgresql-sessions.org . And Follow us on twitter !

Session PostgreSQL #4 : Migrer d'Oracle à PostgreSQL

damien — Wed, 10 Oct 2012 08:17:00 +0000

Hasard du calendrier la 4eme Session PostgreSQL se tenait jeudi 4 octobre, dernier jour de la conférence Oracle Open World. Autant dire tout de suite que les deux événements n'avaient pas la même définition du mot "Open" !

Comme à chaque session, la salle était pleine pour écouter les interventions. La matinée fut consacrée en particulier aux outils de migrations eux-mêmes avec les 3 grandes méthodes : ora2pg, ETL ou Foreign Data Wrapper :

Jean-Paul Argudo a ouvert la conférence avec une keynote pour rappeler les enjeux et les problématiques des migrations de SGBD
Guillaume Lelarge a débuté avec une présentation rapide des nouveautés de PostgreSQL 9.2
Gilles Darold a poursuivi avec un zoom d' ora2pg l'outil de migration Oracle vers PostgreSQL dont il est l'auteur
Marc Cousin a décrit la mise en oeuvre de Kettle (un ETL open source)
Laurenz Albe, DBA à la mairie de Vienne en Autriche, a présenté le connecteur oracle_fdw qui permet de lire des tables Oracle à partir de PostgreSQL

L'après-midi fut l'occasion de faire un tour d'horizon des alternatives aux outils traditionnels d'Oracle, notamment

Gabriele Bartolini, fondateur de 2ndQuadrant Italie, a présenté Barman, un outil de backup qui marche sur les pas de RMAN
Jehan-Guillaume De Rorthais a décrit les nouveautés de pgBadger, un outil d'analyses de traffic SQL
Enfin Julien Rouhaud a conclu avec une présentation de PGXC, une solution de réplication symétrique ("Master-Master") qui vient chasser les terres d'Oracle RAC.

Toutes les présentations sont disponibles au format PDF ici : http://www.postgresql-sessions.org/4/start

Pour ma part, j'ai cloturé cette journée avec les conclusions suivantes :

1- Pour migrer d'Oracle vers PostgreSQL, vous avez le choix des armes : selon vos besoins et la complexité de votre schéma de données, vous pouvez utiliser différents outils : ora2pg est spécialisé et très simple à mettre en oeuvre. Kettle (et les autres ETL) sont très puissants et utiles si vous devez transformer les données. Enfin le connecteur oracle_fdw propose une solution originale pour migrer en douceur.

2- PostgreSQL a encore un peu de chemin à parcourir dans certains domaines: notamment sur la partitionnement ou sur les alternatives à OEM. Cela conduit beaucoup d'observateurs a juger qu' "Oracle est en avance sur PostgreSQL". Pour ma part, je ne m'attache pas à regarder la position de chaque SGBD à un instant T. Je préfère m'intéresser à la dynamique de chaque projet... Et cette journée de conférence a bien montré que la communauté PostgreSQL est actuellement dans une phase de développement extra-ordinaire et l'essor actuel est l'assurance que PostgreSQL sera un SGBD dominant dans les années à venir. Pour le dire autrement, en prenant la métaphore de la course à pied : le projet PostgreSQL est peut-être en seconde position derrière Oracle, mais vu sa vitesse actuelle il va rapidement rejoindre et dépasser la concurrence.

3- Comme l'a rappelé Jean-Paul en ouverture, une migration de SGBD c'est 10% de technique et 90% d'humain. La bonne nouvelle, c'est justement que l'open source remet l'humain au centre de la technologie. En effet, en passant d'un SGBD propriétaire à PostgreSQL, le cout de possession (TCO) change de nature: on ne paie plus de licences hors de prix à une multi-nationale ! Le budget est réorienté vers du service (Support, Formation, Conseil) via des opérateurs locaux et multiples. Passer au logiciel libre ce n'est pas uniquement un changement technique, c'est aussi (et surtout) une révolution au niveau de la relation commerciale.

Pour terminer, je remercie chaleuresement toute les personnes qui ont rendu cette journée possible notamment Laurentz Albe et Gabriele Bartolini.

La prochaine session se tiendra début 2013. Nous réfléchissons actuellement au thème de cette journée. N'hésitez pas à nous soumettre vos idées et vos propositions à l'adresse contact@postgresql-sessions.org. Et pour rester informé, suivez-nous sur twitter !

PostgreSQL Conference Europe 2012 : Dernières chances pour vous inscrire

damien — Tue, 09 Oct 2012 19:15:00 +0000

Il ne reste plus que deux semaines avant PostgreSQL Conference Europe 2012, qui se tiendra à l'hotel Corinthia Hotel de Prague en République Tchèque du 23 au 26 octobre. Plus de détails sur http://2012.pgconf.eu/

Avec 40 sessions destinées aux développeurs, DBA et décideurs, la conférence s'adressent à toutes les personnes intéressées par PostgreSQL et ses logiciels satellites. La session d'ouverture sera assurée par Joe Celko, vétéran de l'industrie, auteur renommée et co-rédacteur du standard SQL.

En complément, le programme contient des sessions de formations animées par des membres reconnus de la communauté tels que Bruce Momjian (co-fondateur du projet), Greg Smith (expert en performance) ou encore Joe Celko lui-même.

La conférence affiche complet mais quelques places supplémentaires de dernières minutes ont pu être ajoutées. Inscrivez-vous dès maintenant si ce n'est pas encore fait !

http://2012.pgconf.eu/registration/

Mises à jour importante pour PostgreSQL 9.1 et 9.2

damien — Mon, 24 Sep 2012 20:22:00 +0000

Le projet PostgreSQL sort aujourd'hui des mises à jour pour toutes les branches actives du SGBD PostgreSQL. Les nouvelles versions 9.2.1, 9.1.6, 9.0.10, 8.4.14 et 8.3.21 corrigent des problèmes critiques pour les versions majeures 9.1 et 9.2. Les utilisateurs de ces versions doivent appliquer ces mises à jour dès que possible. Les utilisateurs des versions 8.3, 8.4 et 9.0 peuvent planifier la mise à jour lors de la prochaine interruption de service programmée.

Pour les versions 9.1 et 9.2, deux risques de corruptions de données ont été détectés suite à un arrêt brutal du serveur (crash), un arrêt avec l'option “immediate” ou une bascule vers un serveur en standby. Ces risques concernent les index (BTREE et GIN) et la carte de visibilité (visibility map).

Cette mise à jour résout ces deux problèmes.

Pour les utilisateurs de PostgreSQL 9.1 et 9.2, le risque est sérieux mais le correctif est très simple à appliquer. Il est fortement conseillé de faire cette mise à jour le plus tôt possible, puis de lancer un VACUUM et une réindexation progressive. L'ensemble ne prend que quelques minutes.»

Voir l'annonce sur le site dalibo.org pour plus de détails : http://www.dalibo.org/nouvelles_versions_mineures_de_postgresql_9.2.1_9.1.6_9.0.10_8.4.14_8.3.21

Comme pour toutes les versions mineures, vous pouvez appliquer cette mise à jour avec un simple arrêt de PostgreSQL suivi d'une mise à jour des exécutables, puis de redémarrer PostgreSQL. Les utilisateurs de versions plus anciennes qui ont sauté plusieurs mises à jour mineures auront peut-être à effectuer d'autres actions suite à la mise à jour. Il est recommandé de consulter les notes de version pour plus de détails.

PostgreSQL Conference Europe 2012 : Demandez le programme !

damien — Wed, 05 Sep 2012 09:21:00 +0000

Comme chaque année, PostgreSQL Conference Europe (pgconf.eu pour les intimes) est le grand rassemblement de la communauté européenne du SGBD open source. Le programme est bien trop riche pour être détaillé ici, je vous encourage à lire l'annonce qui vient de paraitre :

http://forums.postgresql.fr/viewtop...

Au passage je précise qu'il ne vous reste plus que 2 jours pour profiter de l'offre "early-bird" et que le nombre de places dans les trainings est (très) limité.

Bref inscrivez-vous rapidement sur http://2012.pgconf.eu/registration/ !

PostgreSQL 9.2 approche : testez la version Release Candidate 1

damien — Mon, 27 Aug 2012 20:07:00 +0000

Attachez vos ceintures, relevez vos tablettes ! L'avion PostgreSQL 9.2 est sur le point d'atterrir et cela va faire du bruit....

La version "Release Candidate 1" vient d'être livrée aujourd'hui même, ce qui signifie que les développeurs considèrent et que la version 9.2 arrive à maturité. Au menu de cette nouvelle mouture :

Scans Index-only
Améliorations de la réplication
Support du format JSON
Nouveau type de donnée RANGE
Améliorations des performances

Tout ceci (et bien d'autres choses encore !) sera disponible officiellement dans quelques jours. D'ici là n'hésitez pas à télécharger et installer la version "RC1" sur vos serveurs de test !

Et si vous n'avez pas le temps de tester la version 9.2, Dalibo organise un atelier PostgreSQL 9.2 à Paris le 7 septembre pour mieux comprendre ce que le futur de PostgreSQL va changer pour vos bases de données et vos environnements de production. L'entrée est gratuite mais le nombre de places est (très) limité. Réservez dès maintenant !.

Pour ce qui est de la version finale, pas de date de sortie officielle pour le moment mais comme souvent dans la communauté PostgreSQL ça va très vite !

Lien pour le téléchargement : http://www.postgresql.org/download/

Mises à jour mineures de PostgreSQL

damien — Tue, 05 Jun 2012 08:12:00 +0000

Le groupe de développement de PostgreSQL vient de mettre à disposition une version corrective pour toutes les branches actives du projet. Cette mise à jour est mineure dans le sens où elle n'apporte pas de changements fonctionnels. Elle corrige 42 erreurs dont 2 problèmes majeurs découverts très récemment.

Le premier est une instabilité pouvant conduire à un crash du serveur lors de l'utilisation de fonctions de type SECURITY DEFINER. La seconde concerne une faille de sécurité découverte dans la fonction crypt(). À noter que les projets PHP, OpenBSD et FreeBSD sont aussi affectés par ce problème et ont diffusé leur propres correctifs.

Le correctif pour PostgreSQL arrive moins d'une semaine après la détection de la faille de sécurité. Cette réactivité est la démonstration que PostgreSQL est plus sécurisant et plus transparent que les SGBDR propriétaires.

Les utilisateurs qui ont installé l'extension pg_crypto doivent mettre à jour leurs serveurs immédiatement. Pour les autres, l'impact de ces deux problèmes est faible sur la sécurité des serveurs et le niveau de danger n'est pas alarmant. Toutefois, tous les utilisateurs de PostgreSQL sont invités à mettre à jour leur installation dès que possible. L'opération de mise à jour est simple et rapide. Elle ne nécessite pas de validations applicatives, ni de test de régression. La coupure de service induite par la mise à jour est très courte.

Plus de détails sur : dalibo.org

Faites circuler l'info : le Google Summer of Code approche !

damien — Tue, 20 Mar 2012 09:20:00 +0000

Si vous avez des connexions dans le milieu universitaire, dans votre ancienne école d'ingénieur ou dans un laboratoire de recherche informatique, je vous encourage à leur transmettre le message ci-dessous.

Cette année encore, la communauté PostgreSQL participe au projet "Summer of Code" (GSoC) de Google qui permet à des étudiants d'obtenir des bourses pour développer des fonctionnalités pour PostgreSQL et ses logiciels satellites.

Pour rappel, voici quelques exemples de développements réalisés dans le cadre des GSoC précédents :

Amélioration des Foreign Data Wrappers
Nouvelle architecture de plug-in pour phpPgAdmin
Concepteur de Schéma pour pgAdmin
Extension de pgTune
Indexation des données XML dans PostgreSQL
Gestion de cache dans pgPool

A noter que ce programme est en langue anglaise mais certains tuteurs ("mentors") sont francophones.

Ci-dessous un exemple de message que vous pouvez transmettre à un professeur ou à un laboratoire de recherche :

http://archives.postgresql.org/pgsq...

PostgreSQL Magazine needs you !

damien — Sun, 18 Mar 2012 23:03:00 +0000

The first official issue of PostgreSQL Magazine is on its way !

If you want to help us, now is the time ! We need reviewers. Proof-reading takes only a few minutes and it's a great way of contributing. It's an important job that gives the magazine its quality.

The review process based on a quite simple wiki. Each article is a wiki page. As a reviewer you just have to click "edit" and correct as many errors you can spot :-)

There are currently 4 articles waiting for review and few more to come by the end of the month.

If you're interested, please read the reviewer guidelines and subscribe to the pgmag mailing list.

We plan to release PostgreSQL Magazine #01 in April. And second issue is already scheduled for october 2012. Stay tuned !

For more details, please check : http://pgmag.org/

PG Session #3 : Bilan et perspectives

damien — Tue, 21 Feb 2012 21:19:00 +0000

La 3eme conférence "PG Session" s'est achevée il y a quelques jours et je vous propose ici un rapide compte-rende de cette journée à la fois riche et passionnante.

Tout d'abord je tiens à remercier les orateurs qui nous ont fait l'honneur de participer à cette conférence, notamment : Michael Paquier (NTT Data Intellilink / Japon), Simon Riggs (2nd Quadrant / Angleterre) et Ludovic Levesque (Fotolia / France). La qualité et la diversité de leurs interventions est la démonstration même de la richesse l'écosystème PostgreSQL !

Sur la base des différents thèmes abordés, j'ai tiré les 4 pistes de réflexion suivantes :

A/ La réplication interne de PostgreSQL est simple et mature. Le mécanisme Hot Standby répond à la grande majorité des besoins des entreprises : Haute-Disponibilité, Répartition des lectures, PRA... Avec une configuration intuitive et bien documenté, le Hot Standby s'est imposé en moins de 2 ans comme le système de réplication le plus populaire pour PostgreSQL. En bref si vous êtes à la recherche d'une solution de redondance pour vos données, mettez en place tout d'abord en place un Hot Standby vous serez rarement déçus !

B/ Pour les besoins plus spécifiques telles que les réplications croisées, les clusters hétérogènes ou les réplication master-master, il existe un panel de solutions sophistiquées : Slony, Londiste, Bucardo sont autant de logiciels libres qui vous permettront de déployez des architectures complexes avec PostgreSQL

C/ La scalabilité en écriture est la prochaine frontière à atteindre. L'objectif déclaré est de concurrencer directement Oracle RAC. Plusieurs projets sont déjà très avancés dans cette voie : On peut notamment citer le prometteur Postgres-XC qui devrait sortir en version 1.0 dans les semaines qui viennent. N'hésitez pas à tester ce projet et à renvoyer du feedback aux auteurs.

D/ Quelque soit la solution de réplication choisie, il est essentiel de ne pas négliger le temps de maintenance et le coût de la montée en compétence de vos équipes. Cela tombe bien car au delà de l'aspect open-source, PostgreSQL propose un véritable changement de paradigme économique : le coût total de possession (TCO) d'un systèmes de réplications . Avec un SGBD propriétaire, les licences seront le poste de dépenses le plus important. Avec PostgreSQL, le coût d'un cluster de réplication est le coût est avant tout humain : formation, conseil, support . En clair : plutôt que d'enrichir des milliardaires californiens , votre budget "réplication" sera convertit en services (audit de préconisation, support 24h/24, transfert de compétences, etc.) via une des nombreuses société qui compose l'écosystème PostgreSQL.

De notre propre expérience chez Dalibo : la plupart de clients qui sont passés d'Oracle à PostgreSQL sont séduits par cette approche à la fois pragmatique et humaine, aussi bien niveau technique que commercial !

J'en profite d'ailleurs pour annoncer que la prochaine Session PostgreSQL se tiendra cet automne et abordera le sujet de la transition d'Oracle vers PostgreSQL : outil de migration, remplacer Data Guard, remplacer OEM, etc.... Si vous cherchez une alternative à Oracle, rendez- vous en septembre !

D'ici là, abonnez-vous à notre liste de diffusion pour être tenu informés des dernières nouvelles de la communauté PostgreSQL....

Vous pouvez également consulter les slides de orateurs sur le site des PG Sessions : http://www.postgresql-sessions.org/...

Write a Foreign Data Wrapper in 15 minutes (Part 1/2)

damien — Tue, 31 Jan 2012 22:49:00 +0000

Among the long list of new features of PostgreSQL 9.1 the new SQL/MED implementation is probably of the most underrated. SQL/MED is an extension of the SQL standard defines foreign data wrappers (FDW) that allow you to reach data located outside of your database, with regular SQL request (MED stands for Management of External Data). In a nutshell, SQL/MED is cool.

As far as i know, PostgreSQL and DB2 are the only major RDBMS providing an implementation of this standard. The beauty with PostgreSQL is that you can write your own data wrappers to connect your database to any storage you want ; other RDBMS, NoSQL storages, web services, whatever system that holds data and can deliver it.

Basically to Write a Foreign Data Wrapper you need to code six callback routines in C to explain how to plan and execute queries toward your new source of data.

PostgreSQL 9.1 has been released a few month ago, but there's already a bunch of FDW available (even though most of them are still beta). At the time, I'm writing this we already have http://wiki.postgresql.org/wiki/For..., so you can connect your PostgreSQL server to ; Oracle, MySQL, SQLlite, anything providing an ODBC driver, LDAP, couchdb, redis, Amazon S3 storage, CSV files, Twitter, Google Search, HTML pages, RSS feeds, ....

For an almost complete list, check out the PostgreSQL wiki ; http://wiki.postgresql.org/wiki/For...

And of course these wrappers are packaged as extension and most of them are available on PGXN and quite easy to install : http://pgxn.org/tag/fdw/

But there's more ! Among these FDW there's one called Multicorn. This particular extension allows you to write FDW in Python. A wrapper over another wrapper. Basically this means you don't have to know C to write your own FDW and you can use high-level libraries from the Python world.

Ok let's take a simple example. I'd like to query data contained in a web calendar like Google Calendar. Those data are available in ical files, with a specific format called iCalendar. So want i need to do is explain PostgreSQL how to reach and parse the files.

With Python and Multicorn, this is done with 20 lines of code : see icalfdw.py

And that's it.

Of course this is a basic implementation. We can do better with some optimizations and a few log handling. It's also important to keep in mind that foreign data wrappers have strong limitations... I'll talk about all that and other things in my next blog post.

In the meantime, if you're in Brussels this week-end for FOSDEM you can come to the PostgreSQL Devroom, I'll make a presentation of Multicorn along with its creator.

Session PostgreSQL #3 : il ne reste plus qu'une poignée de places !

damien — Wed, 25 Jan 2012 19:26:00 +0000

Visiblement nous avons visé juste ! En choisissant la Réplication comme thème de la prochaine Session PostgreSQL nous savions que le public répondrait nombreux mais nous n'avions pas prévu un tel engouement... Le conférence qui se tiendra le 2 février à Paris affiche quasiment complet ! Au moment ou j'écris ces lignes , il ne reste plus qu'une poignée de places disponibles. Si vous êtes intéressé par les problématiques de Haute-Disponibité sous PostgreSQL, je vous encourage à vous inscrire le plus rapidement possible à cette adresse :

http://www.postgresql-sessions.org/3/registration_form

Pour rappel, la session se tiendra de 9h30 à 17h30 au Comptoir Général situé 80 quai de Jemmapes à Paris ( http://osm.org/go/0BPIqc7Q )

Parmi les orateurs, nous aurons la chance de compter :

Mickaël Paquier (Japon), Développeur de Postgres-XC
Simon Riggs (Angleterre), Contibuteur majeur de PostgreSQL
Ludovic Levesque (France), Directeur Technique de Fotolia

Le programme complet est disponible ici : http://www.postgresql-sessions.org/3/

Rendez-vous le 2 février à Paris !

FOSDEM 2012 : Demandez le programme !

damien — Mon, 23 Jan 2012 20:16:00 +0000

Le FOSDEM 2012 se tiendra du 4 au 5 février à Bruxelles. C'est un rendez-vous important de la communauté européenne de PostgreSQL et comme d'habitude vous retrouverez pas mal de francophones derrière le stand de l'association PostgreSQL Europe !

Rappelons que le FOSDEM est un événement gratuit et sans inscriptions. Plus d'informations par ici : http://fosdem.org/2012/

Cette année encore, il y a une journée entière de conférences (en anglais) dédiée à PostgreSQL :

http://fosdem.org/2012/schedule/track/postgresql_devroom

Rendez-vous à Bruxelles le 4-5 février !

Session PostgreSQL #3 le 2 février: Réplication PostgreSQL

damien — Wed, 04 Jan 2012 14:18:00 +0000

Dalibo organise le jeudi 2 février 2012 à Paris une rencontre internationale consacrée au Système de Gestion de Bases de Données PostgreSQL.

Le thème de cette journée sera la réplication, avec des invités de marques notamment :

 * Mickaël Paquier (Japon), Développeur de Postgres-XC
 * Simon Riggs (Angleterre), Contibuteur majeur de PostgreSQL
 * Ludovic Levesque (France), Directeur Technique de Fotolia

L'objectif de cette conférence est de faire un tour d'horizon des solutions de Haute-disponibilités : PGXC, Slony, Londiste et avec bien sûr un accent particulier la réplication interne avec le Hot Standby / Streaming Replication !

Retrouvez le programme complet sur le site de l'évènement : http://www.postgresql-sessions.org/...

La session se tiendra de 9h30 à 17h30 au Comptoir Général situé 80 quai de Jemmapes à Paris ( http://osm.org/go/0BPIqc7Q )

Cet événement est gratuit et ouvert à tous, dans la limite des places disponibles.

Les inscriptions se font via la page ci-dessous : http://www.postgresql-sessions.org/...

Pour toute précision, n'hésitez pas à envoyer un message à contact@postgresql-sessions.org

Bonne journée et Rendez-vous le 2 février juin à Paris !

À propos des Sessions PostgreSQL : Les sessions PostgreSQL sont avant tout des moments pour découvrir et rencontrer la communauté PostgreSQL. Chaque session est une journée composée de conférences et d'ateliers, organisée autour d'un thème précis et d'un invité de marque.

» site web : http://www.postgresql-sessions.org/

À propos de Dalibo : Spécialiste français de PostgreSQL, Dalibo met à la disposition de ses clients son savoir-faire dans le domaine des bases de données et propose des services de conseil, de formation et de support aux entreprises et aux institutionnels.

» site web : http://www.dalibo.com/