Pages

samedi 28 juin 2014

Réduire l'empreinte mémoire d'une agglomération de types

Un petit article pour parler d'optimisation mémoire (si on peut appeler ça comme ça) avec comme exemple la structure de donnée utilisée par std::unique_ptr.

Petit rappel, unique_ptr prend 2 paramètres en template: T et Deleter (qui est par défaut std::default_delete<T>).

Naïvement, l'implémentation serait:

template<T, Deleter = std::default_delete<T>>
class unique_ptr {
  T * m_pointer;
  Deleter m_deleter;

  //...
};

Rien d'extraordinaire.

Cependant, même si le Deleter est une classe sans attribut, sa taille est de 1 octet.

À partir d'ici je considère que Deleter est toujours la valeur par défaut, ce qui donne:

  • sizeof(T*) == 4
  • sizeof(Deleter) == 1
  • sizeof(unique_ptr<T>) == 8

Ouille, méchant padding alors que seule 4 octets sont vraiment utilisés.

La solution ? Une classe qui contient le pointeur et hérite de Deleter. Les attributs de la classe dérivée vont se mettre après ceux de Deleter, et s'il n'en a pas, les attributs se positionnent au début de la classe.

Cette optimisation se nomme Empty Base Class Optimization (EBCO). Merci Guillaume.

template<T, Deleter = std::default_delete<T>>
class unique_ptr {
  struct Pointer : Deleter {
    T * m_pointer;
    //...
  };
  //...
};
  • sizeof(unique_ptr<T>) == 4

Mieux, non ?

Et si le Deleter est une référence ? Bien entendu, l'héritage ne fonctionne pas, il faut se rabattre sur la première forme (celle naïve ^^).
Avec des traits et un code volumineux cela est "facile".

En allant encore plus loin, on peut utiliser un Deleter personnalisé final.
(Mais qui utilise des classes finales... ?)

À ce moment, évidemment, même remarque que les références, l'héritage ne compile pas et l'utilisation de la première forme s'impose.
Avec un trait is_final c'est possible, mais ce dernier n'existe pas et son implémentation est impossible... On est coincé !

Vraiment ? Non, car d'irréductibles développeurs de compilos ont créé __is_final, une fonction non-standard utilisée notamment par std::tuple.
De là à dire que toutes les implémentations l'utilisent... Il n'y a qu'un pas que je suis prêt à franchir :).
(En C++14 le trait std::is_final devient standard.)

Au final, l'utilisation de std::tuple permet de s'affranchir de ces difficultés tout en optimisant l'espace mémoire1.

template<T, Deleter = std::default_delete<T>>
class unique_ptr {
  std::tuple<T*, Deleter> m_t;
  //...
};

Il y a toutefois un léger problème avec std::tuple. Si un élément doit être initialisé, alors ils doivent tous l'être. Cela peut causer quelques soucis si un des types n'a ni copy-ctor, ni move-ctor.

1 À condition de mettre les types dans l'ordre croissant d'alignement afin de réduire le padding lorsqu'il y en a plus de 2 (falcon::optimal_tuple).

lundi 9 juin 2014

256 couleurs et plus dans la console

Note: ajout à la fin concernant le TrueColor.

J'ai récemment appris l'existence de 256 couleurs dans la console. À chaque fois que je cherche des infos sur les couleurs je tombe toujours sur les trucs basiques.

Mais récemment j'ai vu un peu trop de couleurs sur un screen. Ce qui m'a dirigé sur un dépôt contenant un $LS_COLORS particulièrement fourni.

En fait, il s'avère qu'en rajoutant extended dans la recherche "color shell" on puisse trouver quelque(s) ressource(s). J'aurais bien voulu y penser la semaine dernière, ça m'aurait évité de comprendre par tâtonnement...

Comme le lien ci-dessus est très bien expliqué je ne fais ici qu'un condensé. Je passe également sous silence les 8 et 16 couleurs.

Utilisation

<Esc>[FormatColorm

Le caractère <Esc> est obtenu avec les séquences suivantes:

  • \e
  • \033
  • \x1B

(Pour bash et echo, utiliser l'option -e pour interpréter les séquences backslashés.)

FormatColor correspond à la couleur de texte, de fond ou l'effet. Plusieurs peuvent être mis en les séparant par des ';'. L'ordre n'a pas d'importance.

CouleurTexteFond
Noir 30 40
Rouge 31 41
Vert 32 42
Jaune 33 43
Bleu 34 44
Magenta 35 45
Cyan 36 46
Gris clair 37 47

Les couleurs précédentes peuvent être configurées sur certains shells.

EffetCodeCode annulation
normal0
gras121
italique323
souligné424
clignotant525
inversé727
Couleur supplémentaire en 16 couleurs (si supporté)
CouleurTexteFond
Gris foncé 90 40
Rouge clair 91 101
Vert clair 92 102
Jaune clair 93 103
Bleu clair 94 104
Magenta clair 95 105
Cyan clair 96 106
Blanc 97 107

Couleur étendue avec X allant de 0 à 255 inclus:

  • Texte: 38;5;X
  • Fond: 48;5;X

Par contre, outre le fait que les couleurs étendues ne fonctionnent pas partout, elles peuvent allègrement pourrir le rendu. Pour retrouver un rendu normal: `tput reset`. À essayer sur les tty, c'est marrant ^^.

Le bout de code ci-dessous permet de visualiser la palette de couleur.

for m in 38 48 ; do
  n=0
  for l in {0..31} ; do
    for c in {0..7} ; do
      echo -ne "\033[$m;5;$n;1m$n\e[0m\t"
      ((++n))
    done
    echo
  done
done

TrueColor

La console supporte aussi les couleurs hexadécimal.

  • \e[48;2;$r;$g;${b}m pour le fond
  • \e[38;2;$r;$g;${b}m pour le texte

$r, $g et $b sont des valeurs allants de 0 à 255. Encore une fois, les effets comme gras, italique, etc, peuvent être ajoutés (echo -e '\e[38;2;205;110;0;3mplop' pour un texte couleur cuivre et italique).

samedi 31 mai 2014

Valeur, référence ou pointeur ? (2/2)

Dans le précédent billet, j'opposai les paramètres par références constantes contre ceux par valeurs.

Sans plus attendre entamons la seconde question

Référence ou pointeur ?

Si je dois faire court je dirai: pointeur jamais ; référence quand possible.
Sans autre forme de procès :D

Mais on me dit dans l'oreillette qu'il faut argumenter... Alors c'est parti.

Les références possèdent un contrat beaucoup plus fort que les pointeurs: elles ne peuvent être nulles et référencent toujours la même variable.

À contrario, les pointeurs peuvent changer la variable référencée ou ne pointer sur aucune variable (nullptr).

Une référence est l'équivalent d'un pointeur constant non-nul (avec une syntaxe d'utilisation plus simple: pas besoin de déréférencer).
De leurs restrictions, celles-ci ne peuvent pas toujours correspondre au besoin ; les pointeurs sont alors envisageables.

De plus, les pointeurs sont beaucoup utilisés dans les constructions dynamiques (allocation dynamique) quand les classes sont à sémantique d'entités. Principalement car ces dernières ne sont pas copiables et que l'allocation dynamique permet de s'affranchir de la portée (le scope) en se détachant de la pile.

Le pointeur parle trop

L'usage de pointeur (pointeur nu) est cependant à prendre avec des pincettes, voici 3 questions que soulève l'usage d'un pointeur

  • Dois-je contrôler la durée de vie du pointeur (le détruire) ? [oui, non]
  • Est-ce un élément ou une séquence d'élément ? [séquence, simple valeur, ça dépend]
  • Le pointeur peut-il être nul ? [oui, non]

Après un petit calcul combinatoire (2*3*2), il y a 12 réponses possibles. Le pire est de répondre: “ça dépend”. Si on l'enlève, il reste quand même 8 possibilités.

La sémantique du pointeur est, au final, très faible. Lui en ajouter devient alors capital.

Plus de sémantique pour un pointeur

Hélas, il n'y a pas de réponse universelle, tout dépend des cas d'usages. De plus certaines combinaisons son conceptuellement douteuses.
Pour exemple, un pointeur non-nul mais qu'on détruira. Le non-nul amène aux références mais idéologiquement une référence n'est pas faite pour être détruite.

On peut néanmoins sortir quelques règles:

  • Si le pointeur n'est pas nul et que l'appelé ne gère pas la durée de vie: reference_wrapper qui permet de changer la référence utilisée
  • Si l'appelé contrôle la durée de vie: pointeurs intelligents (std::unique_ptr en priorité, std::shared_ptr, ...).
  • Si le pointeur peut être nul et que l'appelé ne gère pas la durée de vie alors un pointeur est “justifié”. En interne du moins, pour l’extérieur un non_owner_ptr ou un observer_ptr sera plus parlant. Si le pointeur peut être invalidé pendant l’exécution alors std::weak_ptr ou autres est à envisager.
  • Tout ce qui est tableau est indiqué dans les signatures des objets wrapper (unique_ptr<T[]>) ou/et grâce à un attribut de taille. De plus, s'il faut soit des tableaux, soit une valeur alors toujours préférer le type commun: tableau (les valeurs deviennent des tableaux de taille 1). Les tableaux dynamiques sont quant à eux plus faciles à utiliser avec std::vector.

Au final, l'usage de pointeur nu est très peu utilisé, voire pas du tout. De plus, leur mauvais usage avec l'allocation dynamique amène des fuites mémoires principalement dues aux libérations manuelles. Dans un langage comme le C++ un code non exception safe va faire des fuites mémoires. De manière générale la libération s'applique sur toute forme de ressource: lock, fichier, etc.

Pour éviter cela, les ressources doivent être attachées à la pile et la puissance du déterminisme de destruction permettra de les libérer convenablement. On parle aussi de RAII. Pour rappel, tout ce qui est sur la pile est détruit à la sortie du scope. Et la sémantique de mouvement permettra de changer de portée.

Le wiki de Guillaume Belz en parle très bien: pourquoi le RAII est fondamental en C++ ?

jeudi 22 mai 2014

Valeur, référence ou pointeur ? (1/2)

Quand utiliser une variable par valeur, référence ou pointeur ? Telle fut la question qui m'a été posée ^^.

Comme je ne suis pas entièrement satisfait de la réponse que j'ai donné, je fais un article. Pour tout dire, la réponse n'est pas aussi triviale que l'on pourrait le croire depuis l'arrivée du C++11 et la sémantique de mouvement.

Tout d'abord, décomposons cette question en 2 parties:

  • Valeur ou référence constante ?
  • Référence ou pointeur ?

Je réponds ici à la première, la seconde fera l'objet d'un autre article.

Valeur ou référence constante ?

Le choix se justifie en majorité par un besoin d'optimisation. Une prise par valeur induit forcément une copie, cette dernière pouvant être extrêmement coûteuse. Par exemple, la copie d'un std::vector ne se fait pas en un claquement de doigt, il y a tout un attirail derrière: allouer un espace mémoire et copier tous les éléments du vecteur précédent qui peuvent eux-mêmes faire des opérations complexes.

Au contraire de la référence constante qui n'a de prix que la taille d'une référence. Celle-ci étant toujours la même quel que soit le type référencé (sizeof(intptr_t), oui, pareil qu'un pointeur).

J'insiste bien sur référence constante car pour être au plus proche de l'effet d'une copie, l'objet d'origine ne doit pas bouger. De plus, une instance constante ne peut appeler que des méthodes constantes, ce qui assure une invariance (cf: const-correctness).

Donc, référence constante pour les types qui ne sont pas modifiés dans la fonction. Une règle dit: "tout ce qui est plus grand qu'un pointeur pourrait être passé par référence constante". Je préfère dire tous les types en référence constante sauf les types fondamentaux (int, float, etc). Même si mettre une référence constante sur un int n'est pas une erreur, je n'adhère pas vraiment.

Une seule exception cependant, quand le paramètre va de toute façon être copié localement dans la fonction pour être modifié. On pourrait croire que le résultat sera le même, mais c'est être naïf.

class BigInt { ... };
operator+(const BigInt & a, const BigInt & b)
{
  BigInt ret(a);
  ret += b;
  return ret;
}

Supposons que BigInt fasse de l'allocation dynamique pour représenter les nombres. Avec ce code:

BigInt n1(1);
BigInt n2 = BigInt(2) + n1;

Il y a 3 allocations:

  • n1
  • BigInt(2)
  • ret

Alors que cette implémentation de operator+ n'en produit que 2.

operator+(BigInt a, const BigInt & b)
{
  a += b;
  return a;
}

Car il y a copie élision (c'est le même principe que la RVO mais pour les paramètres). (Voir aussi ici et la réponse de Flob90.)

Mais ça c'était avant...

Maintenant qu'il y a la sémantique de mouvement, les copies sont préférées quand une méthode recevant le paramètre va, quoi qu'il arrive, le copier dans une autre variable (variable membre par exemple). Premièrement parce que l'utilisateur pourra faire un move de sa variable pour s'en "débarrasser" car il n'en a plus besoin. Deuxièmement parce que la fonction a besoin d'une copie et le compilateur le fera pour nous.
En comparaison avec une copie sur le vecteur, le move-constructor ou le move-assignment est extrêmement rapide: 3 affections de pointeur pour chaque vecteur.

Par exemple avec cette base:

#include <utility>
#include <vector>

using vector_int_t = std::vector<int>;

class A {
  vector_int_t c;

public:
  A(vector_int_t cont)
  : c(std::move(cont))
  {}
};

Le code suivant fait 2 allocations (comme avec les références constantes)

vector_int_t c{1, 2};
A a(c);

Alors que celui-ci qu'une seule

vector_int_t c{1, 2};
A a(std::move(c));
// c.size() == 0;

Et ce dernier aussi

A(vector_int_t{1, 2});
// ou A({1 ,2});

Mais si le type ne gère pas une ressource, le constructeur de mouvement sera l'équivalent d'une copie (voir std::is_trivially_move_constructible ?) et alors une référence constante est mieux.

Quand la copie se fait sous condition

Cependant, il existe des paramètres pouvant être copiés, mais pas toujours. Dans ce cas, bien que la référence constante reste une bonne solution, une version prenant aussi une temporaire (rvalue ici) est probablement mieux. Mais si les types ne sont pas abstraits (comprendre full template) alors il faudra faire 2 versions: une avec rvalue et une avec constref. Ce qui se traduit, quand le code est un peu long, par l'ajout d'une fonction de prédicat ou une version template privée appelé par les 2 autres.

Les && sur les types full templates ont 2 états possibles: rvalue ou lvalue. (categorie de valeurs).

struct Foo {
  void foo(std::string const & s) { privfoo(s); }
  void foo(std::string && s) { privfoo(std::move(s)); }
  
private:
  template<class String>
  // ici && représente soit rvalue, soit une référence (constante)
  void privfoo(String && s) {
    // ...
    if (xyz) {
      // soit un move-assign soit un copy-assign
      str = std::forward<String>(s);
    }
  }
  
  std::string str;
};

Ou

struct Bar {
  void bar(std::string const & s) { if (check(s)) str = s; }
  void bar(std::string && s) { if (check(s)) str = std::move(s); }
  
private:
  bool check(const std::string & s) {
    // ...
    return xyz;
  }
  
  std::string str;
};

Prise d'objet non-copiable sous condition

Par exemple, donner la propriété d'un unique_ptr à une classe selon certains prérequis décidés par une méthode. Contrainte supplémentaire, l'objet n'est pas copiable.

  • Une référence constante n'est pas envisageable, l'objet ne pouvant pas être déplacé car constant.
  • Une prise par valeur non plus (grâce à move), car la ressource serait systématiquement transmise à la fonction même si cette dernière ne la garde pas. L'appelant est dans l'incapacité de le savoir et perd la ressource.
  • Une référence non-constante est possible, mais il ne sera alors pas possible d'envoyer un temporaire. Il faudra obligatoirement passer par une variable intermédiaire ce qui est désagréable quand on ne va rien en faire.
  • Reste la rvalue avec laquelle une temporaire fonctionne, mais il faudra automatiquement faire un move quand la variable est une référence. Cela a l'avantage d'informer l'utilisateur sur l'éventuel déplacement de ressource.

Au final, bien qu'une référence fonctionne, seule une rvalue est pratique à l'usage. Seulement, aucunes de ces méthodes n'indiquent une prise partielle, seule la doc nous le dira. Ceci pourrait par contre être une convention d'écriture: si une ressource non copiable est prise par rvalue alors la fonction est libre de se l'approprier quand certaines conditions internes sont remplies.

Quand les opérations ne sont pas connues

Reste la dernière situation: les templates. Les règles sont les mêmes qu'avant mais si le rôle du paramètre n'est pas défini (comprendre la fonction ne fait rien d'autre qu'envoyer le paramètre à une autre fonction ou que le qualifier importe peu) les paramètres sont à prendre par rvalue. À ce moment, toutes les utilisations de cette variable devraient se faire par l’intermédiaire de std::forward, même lorsque des méthodes de celle-ci sont utilisées (la faute au qualifier de référence sur fonction membre).
Toutefois, attention de ne pas déléguer plusieurs fois la responsabilité et de faire forward (et move) que sur la dernière utilisation de la variable (voir le premier commentaire de Florian Blanchet pour l'exemple).

Cependant, certains objets de par leur concept seront pris par valeur. Je pense aux itérateurs, prédicats et comparateurs. Le premier pour une bonne raison: son état change. Et les 2 autres sont sans état (pas de variables membres) ou ne possèdent que des références ou valeurs constantes et sont généralement construit au moment de l'appel de la fonction. Il faut aussi garder en tête qu'une fonction est libre de faire des copies des foncteurs, c'est pour cette raison que lui donner un état est problématique. Si avoir un état est le comportement voulut, alors il reste toujours std::reference_wrapper, std::ref et std::cref. (Note, l'opérateur de parenthèse doit par conséquent toujours être constant pour les prédicats et comparateurs. Si ce n'est pas vérifié, en prenant l'exemple d'un comparateur + sort, cela pourrait changer l'invariant de comparaison et trier n'importe comment.)

Pas de référence constante pour les observers

Bien que cela sorte du cadre de la question d'origine, il ne faut pas prendre par référence constante une valeur à observer.

J'entends par observer les variables qui sont gardées en lecture dans le but de vérifier leur état à un instant t.

Les constref peuvent être des temporaires à leur construction (Jusque-là c'est défini par la norme: prolongement de la durée de vie d'une temporaire). Le problème vient du déplacement vers un scope parent. La constref temporaire est détruite mais la référence est gardée ; référence sur une valeur qui n'existe plus. Cela débouche sur un comportement indéfini et, dans le meilleurs des cas, un segfault.

Un article qui présente une situation similaire avec une lambda retournant T à travers std::function<const T&>.

#include <iostream>
#include <string>

struct Validate
{
  const std::string & s;
  void display() const { std::cout << s; }
};

Validate f()
{ return {"plop"}; }


int main()
{
  Validate x = f();
  x.display();
}

(Moi j'ai un segfault)

Pour limiter ce bug il faut empêcher de prendre les rvalue. Soit en faisant un Validate(std::string&&)=delete + Validate(const std::string & s):s(s){} soit en utilisant std::reference_wrapper (et cref). Ou, peut-être mieux, faire un objet observable tout pareil que reference_wrapper mais avec constructeur explicite. L'intérêt d'utiliser l'un des 2 objets cités et de focaliser l'utilisateur sur l'aspect "j'ai besoin que cette variable vive au moins aussi longtemps que moi".

Résumé

  • Valeur pour les types fondamentaux (int, double, etc), ceux modifiés sans que l'utilisateur n'ai besoin de le savoir (ex: itérateurs ou premier paramètre de l'opérateur '+') ou les foncteur sans états (prédicats, comparateurs, ...).
  • Valeur + std::move quand l'objet peut être déplacé (possède un move-ctor ou/et move-assign non trivial (ex: std::string, std::vector, ...).
  • Valeur pour les ressources non copiables à transférer (std::unique_ptr, ...).
  • Référence constante pour les paramètres en lecture seule ou ne disposant pas de move-ctor ou/et move-assign non trivial.
  • Référence constante et rvalue quand le paramètre peut être copié et possède un move-ctor/move-assign non trivial.
  • Rvalue pour les ressources non copiables avec déplacement conditionnel (std::unique_ptr, ...).
  • Référence constante pour les types inconnus (template) qui n'ont pas d’intérêt à être pris par valeur (ou au pire, stratégie variable selon le résultat de std::is_trivially_*/std::is_copy_*/std::is_move_* ; même si cela n'est pas utile).
  • Rvalue pour les types inconnus (template) quand le paramètre n'a pas de rôle direct dans la fonction ou que le qualifier n'importe pas (ne pas oublier std::forward pour le transmettre à une autre fonction (seulement s'il n'est plus utilisé ensuite)).

Partie 2

dimanche 22 décembre 2013

Parcourir les arguments d'une fonction variadique

À l'approche de Noël et du déballage de cadeaux, faisons un tour sur le déballage des paramètres variadiques.

La méthode habituelle pour utiliser chaque paramètre est la récursion jusqu'à plus d'argument ou jusqu'à un nombre défini, généralement 1.

Quelque chose comme ça:

#include <iostream>
 
void f1()
{}
 
template<class T, class... Args>
void f1(const T& first, const Args&... others)
{
  std::cout << first << '\n';
  f1(others...);
}
 
 
template<class T>
void f2(const T& first)
{
  std::cout << first << '\n'; 
}
 
template<class T, class... Args>
void f2(const T& first, const Args&... others)
{
  std::cout << first << ", ";
  f2(others...);
}
 
 
int main()
{
 f1(1, 2.4, "plop");
 f2(1, 2.4, "plop");
}

Ce qui a affiche:

1
2.4
plop
1, 2.4, plop

Il existe cependant une autre façon de faire qui n'utilise pas la récursivité. J'ai découvert cette méthode sur le forum de openclassroms (ce sujet, 10ème message), elle est très astucieuse.

Implémentée sous la forme d'une macro cela donne:

#define UNPACK(...) (void(::std::initializer_list<char>{(void((__VA_ARGS__)), '\0')...}))
  • Le premier void permet d'ignorer l'initializer_list créé.
  • (void((__VA_ARGS__)), '\0') évalue l'ensemble de l'expression, ignore le résulat (grâce au void) et retourne un caractère dans l'initalizer_list.
  • Au final l'expression est dépaquetée et l'initializer_list est rempli de 0.

Avec cette macro les 2 fonctions précédentes deviennent:

#include <initializer_list>

#define UNPACK(...) (void(::std::initializer_list<char>{(void((__VA_ARGS__)), '\0')...}))

template<class... Args>
void f1(const Args&... args)
{
  UNPACK(std::cout << args << '\n');
}

template<class T, class... Args>
void f2(const T& first, const Args&... others)
{
  std::cout << first;
  UNPACK(std::cout << ", " << others);
  std::cout << '\n';
}

Ceci simplifie considérablement l'écriture :).

Évidemment, cette macro se trouve depuis dans falcon: CPP1X_UNPACK.

dimanche 20 octobre 2013

Faire un flux qui redirige vers d'autres flux (std::ostream).

Je prend l'exemple type: la création d'un logger. Il est courant de voir ce genre de classe dans un projet souvent utilisé à travers une macro pour y insérer date, fichier et numéro de ligne. L'idée est bonne mais l'implémentation de la classe logger est souvent trop compliquée.

Cette classe manipule généralement les flux std::cerr ou une instance de std::ofstream. Voire même dans certaines implémentations une multitude de flux. En gros, elle fait la passerelle entre des données et le(s) flux où écrire.

En partant de ce constat, on peut imaginer voir un header un peu comme ça:

class Logger {
public:
  switch_stdout(bool);
  switch_stderror(bool);
  //...

  Logger & operator << (int);
  Logger & operator << (const char *);
  //etc

private:
  std::ofstream log {"/tmp/log"};
  std::ofstream trace {"/tmp/trace"};
  bool to_cerr = false;
  bool to_cout = false;
};

Un problème est que cette classe n'est pas du tout compatible avec les flux. La raison en est toute simple, ce n'en est pas un !
Du fait de cette non compatibilité, une utilisation courante comme `Logger() << type_perso()` ne fonctionnera pas s'il n'y a pas la surcharge de type_perso pour Logger ET pour std::ostream

Ce point est facile à corriger en remplaçant toutes les surcharges de << par une template. En plus ça réduit le nombre de lignes :)
Cependant, le Logger n'étant pas un flux, d'autres problèmes peuvent exister.

Le plus gros problème reste l'apparente complexité pour écrire dans les flux. Tout ce mal alors que std::ostream fait déjà presque tout. Et que dire de std::clog qui rien que par son nom semble être fait pour ça ?

Les flux ont en interne un buffer, un std::streambuf pour être plus précis. Sa fonction est de prendre des chaînes de caractères et de les écrire quelque part. Ou inversement, de lire une chaîne.
Difficile de faire plus bas niveau.

Bien évidemment, les buffers d'un flux son interchangeables, il m'est tout à fait possible de rediriger std::cout dans un fichier en quelques lignes de code seulement.

int main()
{
  std::filebuf sbuf;
  if (!sbuf.open("/tmp/out")) {
    //error
    return 1;
  }
  std::cout.rdbuf(&sbuf);
  std::cout << "j'écris dans un fichier\n";
}

Au final, Logger fait la même chose mais sans la gestion d'erreur et sans flux de sortie entièrement personnalisable.

Dans mon idée, logger peut simplement contenir le buffer de log (std::clog.rdbuf() par défaut) et fournir au moins 1 méthode pour fournir un buffer avec la responsabilité de le détruire. Le reste est gérer automatique par l'héritage sur std::ostream. ou via une méthode pour fournir le flux.

void Logger::give_buffer_ownership(std::unique_ptr<std::streambuf> buf)
{
  delete internal_buffer;
  internal_buffer = buf.release();
  internal_ostream.rdbuf(internal_buffer);
}

Éventuellement un moyen de créer un objet intermédiaire qui ajoute la date, nom de fichier, etc dans le constructeur et flush automatiquement à sa destruction (vive le RAII).

mercredi 18 septembre 2013

Tableau dans un std::vector

Prenons le type suivant `std::vector<int[4]>` qui peut se justifier. À priori cela ne cause aucun problème ; et c'est vrai !

Ajoutons maintenant un élément à notre vector avec push_back et patatra rien ne va plus, il y a 2 erreurs.
La première concerne la construction du tableau et la seconde sa destruction car un tableau n'a ni constructeur ni destructeur.

La manière la plus facile pour éliminer ces erreurs de compilation est de mettre un wrapper sur le tableau. Écrire ce wrapper n'est pas très compliqué et Oh joie, Oh bonheur, il existe std::array.

Mais si l'on tient vraiment à notre tableau (pour d'obscures raisons satanique :D) il est toujours possible de modifier le comportement du vector pour qu'il comprenne les tableaux. Ceci à travers l'allocator, le second paramètre template d'un vector ; celui jamais utilisé, toujours oublié `std::vector<T, là_ici>`.

La technique consiste à remplacer l'allocator par un spécialisé pour les tableaux. Le plus simple est d'hériter d'un std::allocator et de redéfinir les 2 méthodes problématiques: construct. et destroy.
Et ne surtout pas oublier rebind qui permet de recréer l'allocateur avec un type interne différent (c'est utilisé par les containers :)).

(Un précédent article permet de comprendre les mécanismes utilisés par un allocateur.)

L'implémentation de construct et destroy est vraiment bateau, il suffit d'appeler le constructeur ou le destructeur pour chaque élément du tableau.
Mais pour faire au minimum bien les choses et supporter l'allocation de tableau de tableau (int[3][2]) on utilise array_allocator::construct/destroy si les cellules sont des tableaux (ce qui fait 2 fonctions récursives) ou std::allocator::construct/destroy dans le cas contraire.
À noter que la récursivité peut être éliminée en utilisant les propriétés d'alignement des tableaux (int[3][2] -> int[3*2]).

template<typename T>
class array_allocator;

//c'est juste pour les tableaux
template<typename T, std::size_t N>
class array_allocator<T[N]>
: public  std::allocator<T[N]>
{
public:
  using value_allocator = typename std::conditional<
    std::is_array<T>::value,
    array_allocator<T>,
    std::allocator<T>
  >::type;

public:
  template<typename U>
  struct rebind
  { typedef array_allocator<U> other; };

  template<typename U>
  void construct(U* p, const T(&val)[N])
  {
    value_allocator alloc;
    for (std::size_t n = 0; n < N; ++n) {
      alloc.construct(&(*p)[n], val[n]);
    }
  }

  template<typename U>
  void destroy(U* p)
  {
    value_allocator alloc;
    for (std::size_t n = 0; n < N; ++n) {
      alloc.destroy(&(*p)[n]);
    }
  }
};

Dans l'idéal il faudrait un `construct` avec un nombre variable d'arguments ce qui permet d'utiliser emplace_back.
Toutefois, cette version est fonctionnelle avec push_back :).

std::vector<int[3], array_allocator<int[3]> > v;
int a[3]{1,2,3};
v.push_back(a);
v.push_back({4,5,6});
(La lib falcon (dont je suis le seul développeur actuellement ^^) dispose d'un allocateur de ce style: generic_allocator. Comme son nom l'indique, l'allocateur couvre un spectre un peu plus large et gère en plus les types POD.)

samedi 20 juillet 2013

Utilisation de swap et des fonctions utilitaires en général

Quitte à trouver un meilleur nom, ce que j'appelle fonction utilitaire est toute fonction libre de conversion (to_string, etc) ou d'accesseur externe à une classe (get, begin, end, etc).

Ce sont toutes des fonctions qu'on peut trouver en C++11. La seule fonction utilitaire qui me vient à l'esprit en C++03 est swap (fonction qui échange le contenu de 2 variables). Pour info, l'en-tête de swap est passé de <algorithm> en C++03 à <utility> en C++11.

Il arrive qu'un jour ou l'autre on veuille faire une surcharge de swap pour un objet particulier. À ce moment 2 choix s'offrent: en faire une fonction libre dans le namespace où se trouve la classe ou dans le namespace std. Évidemment, le meilleur choix est le premier.

Et là, pour toutes les personnes qui ont en horreur le `using namespace std` ou travaillant dans les .h, un problème va se poser. Comme swap se trouve dans le namespace de la std, il est logique de faire std::swap(...). Mais à ce moment, la fonction swap spécialisée dans le namespace de la classe n'est pas utilisée...

#include <iostream>
#if __cplusplus >= 201103L
# include <utility>
#else
# include <algorithm>
#endif

namespace my {
  struct A{};
  void swap(A&, A&)
  { std::cout << "ok\n"; }
}

int main()
{
  my::A a, b;
  std::swap(a,b);
}

N'affiche rien... :/.

Par contre ce qui suit affiche "ok".

int main()
{
  my::A a, b;
  swap(a,b);
}

Comme une fonction swap prenant des my::A existe elle est utilisé. Cela est possible car la fonction swap fait partie du namespace my et que les variables a et b sont des instances d'une classe du même namespace.

Mais ceci ne compile pas.

int main()
{
  int a, b;
  swap(a,b);
}

Donc, d'un côté on a un swap générique dans la std et de l'autre un swap spécialisé dans my.
Et surtout, 2 syntaxes différentes.

Dans un contexte générique (typiquement des templates) et de maintient de code ; 2 formes n'est pas acceptable.
Il faudrait que std::swap soit utilisé si aucun swap spécialisé n'existe.

Pour ce, on 'déplace' std::swap dans le scope courant avec using et grâce l'ADL (Argument-dependent lookup) le compilateur appellera la bonne fonction.

int main()
{
  using std::swap;
  {
    my::A a, b;
    swap(a,b); //affiche ok
  }
  {
    int a, b;
    swap(a,b); //compile
  }
}

Et ceci s'applique pour toutes les fonctions libres.

L'article suivant présente une solution pour éviter l'utilisation systématique de using.

mercredi 26 juin 2013

make sans Makefile, utilisation des règles implicites

La commande GNU make possède énormément de commandes implicites. En fait, tout est regroupé dans un Makefile 'par défaut' avec plein de règles. Celui-ci est visible en tapant `make -pf /dev/null` dans un terminal.

Rien qu'avec ça, on peux compiler des fichiers C, C++, archive, latex, etc. Il y a de quoi faire en fait.

Par exemple, je crée un fichier C nommé test.c

int main(int ac, char ** av) {
  return ac;
}

compilation: `make test`
Ceci crée l’exécutable test. Mais si on veut avoir des fichiers objets, il faut le demander explicitement: `make test.o test`.

Maintenant on remplace test.c par test.cpp et on inclut iostream.

compilation: `make test`
avec un objet: `make test.o test`.

Ah ! En fait non, le second ne fonctionne pas.
test.o est compilé avec cc et comme iostream est linker avec une lib, l'implémentation du constructeur std::ios_base::Init n'est pas trouvée. L'idéal serait d'utiliser g++.

Si ce n'est qu'une question de compilateur, changeons-le !

Tout d'abord, la règles de compilation d'un .o vers un exécutable:

$ make -pf/dev/null | grep '%: %.o' -A3
%: %.o
#  commands to execute (built-in):
        $(LINK.o) $^ $(LOADLIBES) $(LDLIBS) -o $@

Ça utilise pour compiler la variable LINK.o. Soit, qu'est ça valeur ?

$ make -pf/dev/null | g 'LINK.o ='
LINK.o = $(CC) $(LDFLAGS) $(TARGET_ARCH)

Qui fait référence à CC. On s'approche, vérifions:

$ make -pf/dev/null | g 'CC ='
CC = cc

Bingo \o/. Il suffit donc de changer la valeur de CC.

On recommence: `make CC=g++ test.o test` et ça fonctionne :).

Cette petite excursion permet mine de rien de découvrir pas mal de variables. Au passage, il est plus intéressant de les utiliser que d'en recréer des nouvelles. Idem dans les règles de dépendances. S'il faut les personnaliser, autant garder les mêmes commandes à exécuter.

Par exemple, pour compiler un .cpp en .o:

%.o: %.cpp
#  commands to execute (built-in):
        $(COMPILE.cpp) $(OUTPUT_OPTION) $<

Généralement les sources sont également dépendantes de fichier d'en-tête. Si on fait une règle qui prend en compte cela, autant garder la même commande:
(petite parenthèse pour dire que gcc possède l'option -MM pour lister les dépendances entre les fichiers.)

bidule.o: bidule.cpp bidule.h machin.h
        $(COMPILE.cpp) $(OUTPUT_OPTION) $<

Ainsi, quand CXXFLAGS sera modifié, la règle le prendra en compte car COMPILE.cpp = COMPILE.cc
Et COMPILE.cc = $(CXX) $(CXXFLAGS) $(CPPFLAGS) $(TARGET_ARCH) -c

À noter que la variable CPPFLAGS fait référence à la commande cpp (ou option -E de gcc) et concerne le C-preprocessor.

Bien sûr, la technique du Makefile seul a des limites. Par exemple, s'il y a plusieurs fichiers C, je peux créer tous les fichiers objets avec `make *.o` mais l’exécutable ne sera dépendant que d'un fichier. Au final les règles par défaut ne permettront pas de créer l’exécutable, il faudra faire `gcc *.o` ou un Makefile avec au minimum a.out: *.o; $(LINK.o) $^ $(LOADLIBES) $(LDLIBS) -o $@.

Voilà, ce fut un petit post pour découvrir l’existence des règles implicites et des variables prédéfinies :).

manual de make

mercredi 29 mai 2013

optimisation de script bash en limitant l'ouverture de processus

Ce qui prend du temps pour un script shell est le nombre de programmes appelés et donc, le nombre de processus créés.

Le meilleur moyen d’accélérer un script est de passer par les builtins et limiter les boucles ouverture/fermeture de programme.
En fait, dans certain cas, on pourrait avoir une commande qui lit sur l'entrée standard et retourne un résultat ; un peu comme bc. C'est là que les coprocess viennent à la rescousse :).

Un coprocess est un sous-shell exécuté de façon asynchrone et fournissant les tubes d'entrée/sortie. Ceux-ci sont accessibles via COPROC[1] et COPROC[2].

Dû coup, avec bc, la méthode est d'écrire dans un tube et lire dans l'autre. Comme la lecture est bloquante, le script va attendre que bc retourne le résultat.
Et voilà l'ouverture d'un programme remplacé par une lecture/écriture.

Par exemple, un petit programme qui lit un fichier contenant des opérations mathématiques et les affiches suivies du résultat.

#!/bin/bash
[ -z "$1" ] && echo $0: file >&2 && exit 1

#coprocess de bc avec la sortie d'erreur redirigée vers la sortie standard
coproc bc 2>&1

while read l; do
 echo "$l" >&${COPROC[1]} # écrire dans le coprocess
 read result <&${COPROC[0]} # réception du résultat
 echo $l = $result
done < "$1"

Sans coproc, la boucle est plus simple mais un processus sera ouvert pour chaque ligne du fichier, ce qui est particulièrement coûteux.

#sans coproc
while read l; do
 echo "$l" = `echo "$l" | bc 2>&1`
done < "$1"

À tester avec par exemple un fichier de calcul comme celui-ci

2+3
2+3*9
23*9
23s*9
3*9