Pages

lundi 22 avril 2013

Placement new, allocateur et container

New est généralement utilisé pour allouer un bloc mémoire et −où il diffère de malloc(),− appelle le constructeur de la classe demandée (si constructeur il y a).
New fait donc deux choses en une.

En fait, new fait une troisième chose: il lance une exception std::bad_alloc si l'espace mémoire est insuffisant.
Pour qu'un pointeur nul soit retourné, il existe le type std::nothrow_t et la variable std::nothrow (tous 2 dans <new>) qui, conjointement avec new s'utilise ainsi:

Machin * machin = new (std::nothrow) Machin(/*params...*/);

Voici ce qui clôt son utilisation courante et voyons comment le faire en deux étapes au moins.

Allouer de la mémoire

Comme on veut juste réserver un espace mémoire, malloc() peut suffire mais prenons les bonnes habitudes, utilisons la fonction ::operator new() !

void * p = ::operator new(sizeof(Machin));

Ou la version sans exception.

#include <new>
//...
void * p = ::operator new(sizeof(Machin), std::nothrow);

Maintenant qu'on a un joli espace mémoire tout fraîchement alloué, construisons l'objet.

Placement new

Le placement new permet de construire un objet dans une zone mémoire prédéfinie et appelle le constructeur.

Machin * machin = new (p) Machin(/*params...*/); // machin == p (même zone mémoire)

Et maintenant que c'est construit, on détruit :D

Destructeur

Un appel explicite au destructeur et le tour est joué.

machin->~Machin();

Étape inutile pour les types scalaires. De toute façon ils n'ont pas de destructeur.

Évidemment, si machin possède un destructeur virtuel et est en réalité un objet héritant de Machin, alors c'est le destructeur de la classe fille qui est appelé.

Il ne reste plus qu'à libérer la mémoire.

Libération de la mémoire

Comme pour ::operator new (), il existe un ::operator delete() auquel il suffit de donner notre pointeur.

::operator delete (p);

Allocation de tableau

::operator new[] et ::operator delete[] fonctionnent de la même façon et sont plus sûrs qu'une gestion manuelle avec leurs homologues sans crochets. Ne serait-ce que pour éviter les fuites mémoire.

void * p = ::operator new [] (sizeof(Machin) * n); //identique que la version sans crochet
Machin * machin = new (p) Machin[n]/*{params...}*/; //si un des constructeurs jettes une exception alors le destructeur des objets construit sera automatiquement appeler.

Surcharge de new et delete

Toutes les formes de new et delete sont surchargeables de façon locale ou globale. Local quand l'opérateur est implémenté à l'intérieur d'une classe (son prototype sera implicitement statique) et global lorsqu'implémenté dans le namespace global.

De plus, comme le new peux prendre des paramètres, il est possible de les personnaliser et d'en ajouter.

#include <new>
struct A{
 A(int i=0)
 {std::cout << "A("<<i<<")" << std::endl;}

 void * operator new (std::size_t size, int x, int y) throw(std::bad_alloc)
 {
  std::cout << "new A " << x << ' ' << y << std::endl;
  return ::operator new (sizeof(A));
 }
};

new(1,2) A;//affiche "new A 1 2 A(0)"

L'alignement mémoire

L'alignement mémoire est une histoire à part entière, je n'en parle donc pas ^^.
Toutefois, renseignez-vous dessus, des variables non alignées peuvent faire chuter les performances et planter certaines architectures de processeur.
Présent dans boost et la dernière norme du C++, il existe aligned_storage et co pour aider dans l'alignement.

Allocateurs

Les allocateurs sont des objets qui s'occupent de faire tout ce qui a été dit auparavant à travers des méthodes comme allocate/desallocate, construct/destroy, address et max_size mais sans faire de surcharge. En fait tous les containers de la std utilisent un std::allocator.

Ce qui m’amène au dernier point, les containers.

Allocateurs et containers

Chaque container (ou presque), que ce soit des std::string, des std::vector ou encore des std::list possèdent tous un allocateur. Son type se définit en dernier paramètre de template.
Évidemment, l'allocateur peut être personnalisable et dans certaines circonstances permet un gain de performance en évitant l'allocation/dés-allocation répéter.

Par exemple, il y quelques semaines, j'ai fait un algorithme qui faisait au total 2'100'000 new pour au final ne garder que 100'000 objets. Donc 2'000'000 de delete.
Dans le pire des cas, il y avait une suite de 25 objets à supprimer. Avec un allocateur qui ne vide pas la mémoire mais garde un tableau des pointeurs alloués je n'avais plus qu'à faire 25 dés-allocations au lieu de 2'000'000 et le nombre de new effectuées descendait quant à lui à 100'025.
Seul le nombre d'appels au destructeur et au placement new restait inchangé. Respectivement 2'000'000 et 2'100'000.

Au final l'algorithme était quand même 30% plus rapide :).

Ce type d'optimisation reste toutefois exceptionnel et n'est pas adapté à tous les containers. Par exemple, std::vector se prête mal à ce genre d'exercice car il demande toujours une allocation d'au moins la taille du nombre d'éléments qu'il possède.
Par contre, les containers comme std::list ou std::map, qui allouent toujours un seul élément à la fois sont un meilleur choix pour utiliser ce type d'allocateur.
Cependant, comme les containers retournent une copie de leur allocateur, il sera difficile de supprimer de manière simple la mémoire non utilisée par l'allocateur du container.

En ce moment, j'ajoute plusieurs allocateurs dans falcon/memory, même si celui dont je viens de parler n'est pas encore présent car son implémentation était vraiment basique et spécifique, il fait quand même partie de ma todo-list.

samedi 23 mars 2013

Nouveau mode pour fopen

Depuis le temps que j’essayais de me rappeler ce nouveau mode. Je ne regardais juste pas la bonne doc. Mais le tir est corrigé, maintenant il est aussi là \o/.

Mais quelle est donc ce nouvel arrivant tout droit sorti du c11 ? Un simple inconnu, le mode "x" :D.
Ce nouveau mode (qui se met en dernier) permet quand il est avec le mode "w" de créer le fichier s'il n'existe pas et d'échouer dans le cas contraire.
Ça fonctionne comme les flags O_CREAT et O_EXCL de la fonction open.

Que de complexité, que de souffrance et que de temps perdu résumés en un simple "x"...

Par contre, je n'ai pas trouvé l'équivalent en C++ pour std::fstream.

dimanche 17 mars 2013

Ne pas empêcher la NRVO

La NRVO et la RVO sont des optimisations des compilateurs pour retourner un objet sans le copier. Je renvoie directement sur une partie de la FAQ C++ de développez.com: d'ici jusqu'à la fin.

Cependant ces optimisations ne s'appliquent pas lorsqu'un appel de méthode qui retourne son instance est directement retourné (une référence sur elle-même).
Ceci:

S f()
{
  S ret;
  return ret.action(); //S& action() { /*...*/ return *this; }
}

Ou cela:

iterator operator+(const iterator& other, int n)
{ return iterator(other) += n; }

Dans ces 2 exemples l'objet est copié inutilement. Pour éviter cette copie, il faut décomposer le code pour que le retour de la fonction ne soit pas lié à une méthode: il faut retourner explicitement l'objet. Ainsi la variable de retour est une variable nommée et la NRVO s'applique.

S f()
{
  S ret;
  ret.action();
  return ret;
}

Et cela:

iterator operator+(const iterator& other, int n)
{
  iterator ret(other);
  ret += n;
  return ret;
}

C'est une optimisation facile à faire et il est tout aussi facile de passer à côté ;).

samedi 9 mars 2013

Petite curiosité de volatile

Voici une petite curiosité du mot clef volatile.

#include <iostream>

struct S{};

void f(void*) { std::cout << 'p'; }
void f(bool) { std::cout << 'b'; }

int main()
{
    S s;
    volatile S * p1 = &s;
    S * p2 = &s;
    f(p1);
    f(p2);
}

Résultat: bp

Le pointeur volatile passe dans la fonction demandant un booléen. Ce n'aurait pas été le cas si un prototype avec volatile void * ou templater sur un _T* existait.

lundi 4 mars 2013

Sqlite, reconstruire la bdd pour l'alléger.

Je ne vais pas par 4 chemins : VACUUM.

Cette commande permet de reconstruire une table et ainsi éliminer les lignes vides et réorganise les index (c'est mieux dit dans la doc ^^).
Certains logiciels se servent de sqlite ; utiliser cette commande de temps en temps sur les tables est une bonne idée.
La première fois que je l'ai fait pour firefox (fichier ~/.mozilla/firefox/nom-du-profil/*.sqlite sur linux) j'ai gagné ½ giga :).

Voici un petit script qui va permettre de le faire sur tous les fichiers sqlite du système (du moins, ceux indexés) et connaître la taille totale avant et après utilisation:

#!/bin/sh
tmpf=/tmp/sqlite_file_path
locate \.sqlite \
| xargs -d'\n' mimetype \
| grep 'application/x-sqlite3$' \
| sed 's/:\s*application\/x-sqlite3\s*$//' \
> $tmpf
xargs --arg-file $tmpf -d'\n' du -hc | tail -n1
while read f ; do
 sqlite3 "$f" 'VACUUM;'
 [ $? -ne 0 ] && echo "\tfor $f"
done < $tmpf
xargs --arg-file $tmpf -d'\n' du -hc | tail -n1
rm $tmpf

Une petite version pour cibler les fichiers:

#!/bin/sh
for f in "$@" ; do sqlite3 "$f" 'VACUUM;'; done

mercredi 27 février 2013

Faites parler votre compilateur

Voici la liste de mes alias pour compiler des codes C, C11, C++ et C++11 et ainsi éviter de nombreuses erreurs de codage et avoir un maximum d'info sur les potentielles erreurs. Les flags les plus importants étant quand même -Wall, -Wextra et -Werror pour transformer les avertissements en erreurs.

alias gcc1x='gcc -std=c1x'
alias g0x='g++ -std=c++0x'
alias g11='g++-4.7 -std=c++11'

alias colorgcc1x='colorgcc -std=c1x'
alias colorg0x='colorg++ -std=c++0x'
alias colorg11='colorg++-4.7 -std=c++11'

flag='-Wall -Wextra -Wundef -Wcast-align -Wformat-security -Wunreachable-code -Wformat=2 -Werror-implicit-function-declaration -Wfloat-equal -Wshadow -Wpointer-arith -Wconversion -Wmissing-declarations -Wmissing-noreturn -Wmissing-format-attribute -Wpacked -Wredundant-decls -Winline -Wdouble-promotion -Winit-self -Wcast-qual -pedantic'
cflag=$flag' -Wstrict-prototypes -Wbad-function-cast -Wmissing-prototypes -Wnested-externs -Waggregate-return -Wwrite-strings'
cppflag=$flag' -Wold-style-cast -Woverloaded-virtual -Wnon-virtual-dtor'
unset flag
alias gwcc="gcc $cflag -Wlong-long"
alias gwcc1x="gcc $cflag -std=c1x"

alias colorgwcc="colorgcc $cflag -Wlong-long"
alias colorgwcc1x="colorgcc $cflag -std=c1x"

unset cflag

alias gw++="g++ $cppflag -Wlong-long"
alias gw0x="g++ $cppflag -std=c++0x"
alias gw11="g++-4.7 $cppflag -std=c++11"

alias colorgw++="colorg++ $cppflag -Wlong-long"
alias colorgw0x="colorg++ $cppflag -std=c++0x"
alias colorgw11="colorg++-4.7 $cppflag -std=c++11"

unset cppflag

alias gfcc='gcc -Wfatal-errors'
alias gf++='g++ -Wfatal-errors'
alias gfcc1x='gcc1x -Wfatal-errors'
alias gf0x='g0x -Wfatal-errors'
alias gfwcc='gwcc -Wfatal-errors'
alias gfwcc1x='gwcc1x -Wfatal-errors'
alias gfw0x='gw0x -Wfatal-errors'

alias colorgfcc='colorgcc -Wfatal-errors'
alias colorgf++='colorg++ -Wfatal-errors'
alias colorgfcc1x='colorgcc1x -Wfatal-errors'
alias colorgf0x='colorg0x -Wfatal-errors'
alias colorgfwcc='colorgwcc -Wfatal-errors'
alias colorgfwcc1x='colorgwcc1x -Wfatal-errors'
alias colorgfw0x='colorgw0x -Wfatal-errors'

Ma version de gcc et la 4.6 par défaut mais la 4.7 (que j'ai aussi) a un meilleur support du C++11.

colorgcc se trouve dans les paquets (d'ubuntu) mais il faudra un patch pour avoir colorg++ (facilement trouvable sur le net).

Je compile généralement mes tests en ajoutant -Wno-missing-declarations pour permettre d'éliminer les warnings lorsque la fonction n'a pas de prototype ou n'est pas inline.

vendredi 22 février 2013

Nouveauté sur les unions

Avant le C++11 les types mis dans les unions se limitaient aux objets POD.
Maintenant plus de limite, faut juste bien appeler le destructeur de l'objet construit dans l'union au risque de jolie fuite mémoire :).

union U{
  int i;
  std::string s;

  U():i(){} //constructeur obligé car s n'est pas un objet POD
  ~U(){} //destructeur qui ne fait rien mais aussi obligé

  void construct_s(const std::string& str)
  { new (&s) std::string(str); } //inclure <memory>

  void destroy_s()
  { s.~basic_string(); } //note string = basic_string<char>
};

Comme tel, c'est un peu limité mais c'est pour montrer...

dimanche 17 février 2013

Différence entre $@, $*, "$@" et "$*"

Après avoir vu l'utilisation de $@ dans un script shell, je me suis demandé la différence avec $*.
Pour rappel, ces variables représentent les arguments de la ligne de commande.

$* est une variable ce qu'il y à de plus normale et ne diffère pas d'une autre variable. Cependant, le comportement des variables diffère en fonction du shell, notamment sur zsh (j'y reviens après).
$@ est une variable au comportement différent entre les shells basés sur sh (bash,dash,...) et les autres (ksh, zsh).

Sur sh aucune différence entre $@ et $*. Par contre sur ksh/zsh cela représente le `tableau` d'argument. Il faut savoir qu'une variable sans guillemet revient à créer autant d'arguments qu'il y a de mots. Les mots sont séparés en fonction des caractères de $IFS (la variable contient : espace, tabulation et saut de ligne). C'est pour ça qu'il est conseillé d'entourer ces variables de guillemets doubles.

Un petit exemple pour comprendre :).

$ a='a b c'; for v in $a ; do echo $v ; done
> a
> b
> c

Le résultat est 3 lignes pour 1 paramètre, la chaîne 'a b c' contenant des espaces s'est fait couper. Ce n'est pas le cas pour zsh (raison historique, j'y reviens à la fin).

Maintenant il reste "$*" et "$@" qui ne diffère pas entre les shells.
"$*" correspond à une seul chaîne, tout est gérer en un seul bloc.
"$@" représente les paramètres réel. C'est identique à $@ avec ksh et zsh.

Petit tableau récapitulatif avec le même type de boucle qu'au-dessus et un appel avec deux paramètres.

./test 'a b' c
var/shell sh/bash ksh zsh
$*
> a
> b
> c
> a
> b
> c
> a b
> c
$@
> a
> b
> c
> a b
> c
> a b
> c
"$*"
> a b c
> a b c
> a b c
"$@"
> a b
> c
> a b
> c
> a b
> c

Pour que zsh boucle sur des mots, il faut ajouter un flag à la variable (${=*}), comme ci-dessous.

$ a='a b c'; for v in ${=a} ; do echo $v ; done

mercredi 6 février 2013

Appel explicite aux membres d'une classe

Ce qui suit permet d'appeler les attributs/fonctions cachés du fait d'un héritage ou faire appel à la fonction virtuelle d'un parent même si celle-ci est redéfinie dans un fil.

Ce principe est plus connu à l'intérieur d'une classe est utilisé avec l’héritage:

struct A
{
 virtual int f() { return 3; }
 virtual ~A(){}
};

struct B : A
{
 virtual int f()
 { return A::f() + 3; } // Utilise la fonction f() du parent
};

Mais il peut aussi s'utiliser à l'extérieur d'une classe. Le A::f() fait référence à une fonction de l'objet lié au pointeur this. Donc this->A::f() est syntaxiquement valide. Ce qui veut dire qu'on peut faire référence à n'importe quel membre contenu dans l'objet.

struct A { int n = 2; };
struct B : A { int n = 3; };

B b;
b.n == 3
b.A::n == 2
struct C { virtual int f(){ return 2; } };
struct D : C { int f(){ return 3; } };

D d;
b.f() == 3
b.C::f() == 2

Cette technique est utilisé pour par exemple changer le buffer d'un fstream. La méthode std::ios::rdbuf(std::streambuf*) étant cacher par std::ofstream::rdbuf() c'est un moyen plus simple que le cast en une référence sur std::ios.

std::ofstream os("...");
//...
static_cast<std::ios&>(os).rdbuf(buf);
//ou
os.std::ios::rdbuf(buf);

vendredi 18 janvier 2013

délégation d'événement en js

En règle générale les événements sont attachés à l'élément qui va le traiter.

Par exemple en java-script, un menu (ul) contenant 10 entrées (li) où chaque entrée est associée à une action crée, au total, 10 événements. 10 événements attachés à la même action.

Pour dire vrai, cette méthode est peu performante et peut la plupart du temps être remplacée par un seul événement sur le parent. À ce moment le parent vérifie si l'événement est généré par un de ces fils et fait le traitement en conséquence.

var ul = document.getElementById("menu");
ul.onclick = function(e){
  if (e.target.parentNode === ul) //est-ce toi mon fils ?
    openWithAjax(e)
}

On peut trouver le même type de fonction dans JQuery: .on().