J’aime la virtualisation…

Petit hors-sujet (ou pas) de mon blog MaDomotique : Quand certains aiment leur banque : moi j’aime la virtualisation ! :-)

J’ai commencé à « jouer » avec des VMs, il y a maintenant 7 ans avec virtualbox & VMWare player. Toujours dans l’optique d’un serveur maison, je faisais tourner une Virtual machine « Windows Home Server » avec Virtual box sous Ubuntu : Les performances n’étaient pas au top mais cela fonctionnait. Je vous invite à découvrir les nombreux avantages Windows Home Server (WHS pour les intimes) à l’époque : « Stockage Unique » (ajout de disque physique, et l’ajout d’espace est direct, sécurisé et complètement transparent), le backup des PC sous windows était incrémentale et en cas de crash du PC : on boot sur un CD spécial restauration et le serveur renvoie toutes les données. Enfin, à l’époque c’était génial !

Après, il y a eu les VM du Boulot sur des gros serveurs sous Windows XP Pro ou 2003 avec VMWare Workstation. La VM Ubuntu de test était toujours dans un coin. Avec le recul, on faisait du « Docker » avant l’heure…

Puis, j’ai fait construire… d’autres préoccupations m’importait :

• comme la conso d’un serveur H24 avec un gros CPU.
• la domotique : périphérique réel (à l’opposé du virtuel)

Rack Domotique Ouvert

Donc la virtualisation n’était pas sur ma « check list ». Mais ça c’était avant le Micro Serveur de chez HP : HP Proliant N54L ! gràce à lui j’ai découvert VMWare ESXi.

Et j’ai continué dans la famille VMWare, j’ai maintenant un « Home Lab » avec VCenter (merci les versions d’évaluations) j’ai VSAN opérationnel. Et moi, qui vient du monde des télécoms, j’espère pouvoir monter VMWare NSX prochainement. C’est passionnant, et je vous invite à découvrir ces produits.

En Haut, un serveur fait maison basé sur un Intel i5 et 16Go de RAM 2 HDD & 1 SSD sous ESXi 6. Au milieu mon rack domotique (HP N54L). En 8Go de RAM, un CPU Xeon x5355 et 3 HDD de 160Go en SAS

Tout le monde ne peut pas avoir des serveurs chez soi, c’est pourquoi je vous invite sur CloudCred c’est  un site créé par VMWare pour les produits VMWare et la culture IT en général : il y a des labos virtuels et vous gagnez des lots…

Pour en revenir à la domotique (ça reste et restera un site sur la domotique), un serveur de virtualisation (comme ESXi) est pour moi la meilleure façon d’avoir un système efficace tout en continuant à faire des tests.

Jeedom Vs Domogik

Pour exemple, je migre doucement de logiciel domotique, en passant de Domigik à Jeedom. Actuellement les 2 systèmes sont fonctionnels, et comme tous mes tests avec Jeedom étaient  très convaincants, j’ai basculé les services qui ne demandaient pas développement. Et je continue quand je trouve le temps ! J’essaierai de « pondre » un article quand le passage à Jeedom sera terminé. Pour le moment, les 2 systèmes cohabitent et Domogik parle en XPL à Jeedom: c’est beau !

 

Auto Backup sur Hubic d’OVH.

Pour mes données perso, j’essaie d’être plutôt prudent, donc de sauvegarder en double (voir triple) surtout depuis ce jour de Mars 2011, où tu es parti « Samsung F1 Spinpoint » avec des 1To de données… Tristesse !

Mes données/Data, j’aime les garder « Local ». Je ne suis pas un consommateur de stockage en ligne type Cloud, je suis aussi un grand parano… mais j’ai bénéficié de 2 comptes Hubic (10To) avec mon inscription récente à OVH Télécom (J’ai changé d’opérateur ADSL: Orange vers OVH) : Pourquoi pas essayer en faisant un peu attention !

Je vais donc envoyer mes données perso en masse vers le Cloud… OK mais j’ai des contraintes
– OVH m’est très sympathique mais je ne leur donnerai aucune données non cryptées !
– La Haute-Savoie c’est bien pour le Ski et le Fromage mais pour l’internet hors agglo c’est dur dur -> mon Upload ne dépasse pas le Mega (Environ 800Kb/s) sachant que j’ai 157Go de données à transférer…

J’ai trouvé une solution et je la partage avec vous !

1er Étape: Le Cryptage

Mes données brutes (non cryptées) vont être cryptées localement avec « Duplicity« : pour se faire il suffit de l’installer et de le configurer ! Installation de duplicity sur Debian :

sudo apt-get install duplicity

Cryptage des Fichiers en Clair (dans /media/DATA) en crypté (dans /media/BackupDisk) avec la Phrase Secrète !

export PASSPHRASE=LaPassPhraseAGarderSecrete
duplicity /media/DATA file:///media/BackupDisk/DATACrypt

Tout dépend de la taille des fichiers à crypter vous avez le temps de faire autre chose ! Cryptage terminé libre à vous d’ajouter/modifier des fichiers dans vos fichiers en clair et relancer « la moulinette », Il ne cryptera que la modification et l’ajoutera dans le répertoire des fichiers cryptés sans en supprimer (une sorte de cryptage incrémental ?!?).

2eme Étape: Montage de hubic sous Debian.

Un tutoriel très bien fait fera l’affaire sur noobunbox.net

3eme Étape: Planification de l’Upload des fichiers cryptés

Comme je vous disais plus haut: ça fait mal à mon Upload donc je planifie l’envoi des fichiers Duplicity seulement entre Minuit et 6h du Matin grâce à la « Crontab » et mon petit script sur Mon Git

Il suffit juste d’éditer le script et de modifier les paramètres : Répertoire Local & Distant, la période de temps, le nombre de fichiers et le préfixe/suffixe du nom de fichier.

Attention: ne pas oublier d’envoyer aussi, les fichiers signature (sigtar.gpg) et manifest (manifest.gpg) par une copie classique.

Voici ma ligne Crontab:

5 0 * * * /home/domophil/RemoteNighlyCopy.sh > /home/domophil/RemoteNighlyCopy.log

 

Raspberry B + Carte Wolfson Pi Audio

Désireux de créer une nouvelle « Zone Audio » dans ma salle de bain, j’ai acheté (sur Amazon) une carte « fille » : Wolfson Pi Audio Card.

Ma première « Zone Audio » est constituée d’un Raspberry B avec une paire d’enceintes alimentées en USB. Ce système fonctionne très bien mais la qualité audio n’est pas au rendez-vous, enfin, pour écouter la radio dans la cuisine : ça va ! Mais le problème c’est que lorsque rien n’est diffusé on peut toujours entendre du « bruit électronique »

L’idée de cette nouvelle installation se base toujours sur un Raspberry B, d’une paire d’enceintes étanches (pas trop chères : moins de 20 Euros) et d’une carte Wolfson (à 50 Euros, paf !) qui a la particularité (par rapport aux autres cartes « DAC« ) d’intégrer un amplificateur !

Installation physique :

L’installation est relativement simple : les broches de la carte se branchent sur le connecteur P1 et les 8 « tiges » vont faire contact avec le P5 ! Donc pas de soudure à faire ! Par contre si vous voulez brancher des Haut-parleurs en direct dessus (comme moi), il faudra trouver des « headers » ou bornier vis à souder !

Aussi, lorsque je peux éviter les ondes (wifi, bluetooth…) je le fais ! Je piloterai cette « Zone Audio » (comme l’autre) en Infrarouge avec un composant de type TSOP4838. Mais le problème est que cette carte ne me permet plus de me brancher « comme avant » !

Branchement comme avant (GPIO 18)

Branchement avec carte Wolfson !

En effet, les seuls GPIO accessibles sont en réalité un port série : RX, TX & GND ! je vous expliquerai plus bas comment utiliser le RX pour notre récepteur infrarouge ! Le fil Data (Violet sur les photos) passe du GPIO 18 au RX, le GND (Gris) va sur GND et le 3.3V (Blanc) je l’ai trouvé sur le port EX_Connection en position 2.

Le module Récepteur Infrarouge !

Installation logicielle :

J’utilise « Logitech Media Server » (aka LMS) en tant que Server Radio/Musique et il y a une distribution Linux Raspberry parfaite en tant que Client : SqueezePlug : il gère la carte Wolfson ‘out of the box’ ! Il suffit de suivre les instructions Telecharger/Créer la carte SD/…

Pour l’infrarouge, j’utilise « Lirc », il y a de trés bon tuto pour apprendre au raspberry à reconnaître les codes IR et pour exécuter les ordres en fonction du bouton de la télécommande appuyée !

Trucs & Actuces :

Commençons par le port DATA du récepteur Infrarouge : le RX du port série est bloqué en port série : OK supprimons le port série, tout d’abord mettre en commentaire (avec un #) dans /etc/inittab la ligne :

#T0:23:respawn:/sbin/getty -L ttyAMA0 115200 vt100

Puis, on supprime les références au port série (ttyAMA0) dans le fichier /boot/cmdline.txt donc la ligne :

dwc_otg.lpm_enable=0 console=ttyAMA0,115200 kgdboc=ttyAMA0,115200 root=/dev/mmcblk0p2 rootfstype=ext4 elevator=deadline rootwait

Devient :

dwc_otg.lpm_enable=0 console=tty1 root=/dev/mmcblk0p2 rootfstype=ext4 elevator=deadline rootwait

Ainsi, le port série « supprimé », on peut « forcer » le module Lirc à utiliser les GPIO 14 & 15, en ajoutant dans /etc/modules, la ligne suivante :

lirc_rpi gpio_in_pin=15 gpio_out_pin=14

Et après un reboot, si tout est OK vous devriez avoir ce message au démarrage :

root@raspberry:~# dmesg | grep lirc
[   15.629145] lirc_dev: IR Remote Control driver registered, major 248
[   15.647619] lirc_rpi: module is from the staging directory, the quality is unknown, you have been warned.
[   16.607478] lirc_rpi: auto-detected active low receiver on GPIO pin 15
[   16.609408] lirc_rpi lirc_rpi.0: lirc_dev: driver lirc_rpi registered at minor = 0
[   16.612289] lirc_rpi: driver registered!

Pour finir, le Raspberry & la carte Wolfson sont dans un placard, mais alors comment faire pour l’infrarouge : Et tirant dans mon grenier, les 2 câbles pour les enceintes, j’ai aussi tiré un câble Cat5 pour le signal infrarouge, le récepteur est caché dans la bouche d’extraction VMC… et ça marche plutôt bien !

Update du 01/03/2015 :

Depuis le Kernel 3.18 ou 3.17, il est nécessaire de modifier le fichier /boot/config.txt pour faire fonctionner le module « lirc-rpi »:

# Uncomment this to enable the lirc-rpi module
dtoverlay=lirc-rpi

# Uncomment this to override the defaults for the lirc-rpi module
dtparam=gpio_out_pin=14
dtparam=gpio_in_pin=15
#dtparam=gpio_in_pull=down

 

Pourquoi Centreon ?

Après quelques mois « d’utilisation » de ma nouvelle architecture serveur basée sur VMware ESXi un problème s’est posé:

Là ou, avec un seul serveur, j’avais rapidement un statut (top / ps -ef / df -h) de la santé du système complet, maintenant la supervision (car il faut appeler un chat un chat) n’est pas des plus simples (surtout sans outil) !

Je connaissais Nagios pour l’avoir utilisé brièvement lors d’une mission en Allemagne (je m’égare) mais entre nous : pour toute configuration c’est chiant pénible même si très puissant ! Du coup je me suis lancé: création d’une nouvelle machine virtuelle et un petit « re-groupage » du serveur Domotique et du serveur de Video-Surveillance (Domogik & ZoneMinder font maintenant chambre commune).

Et le Samedi 30 Aout 2014 vers 14h : Centreon Entreprise Server (Standard) est né « Up & Running ».

Je ne vais pas faire un descriptif complet du produit (ni de l’install/config) car tout est bien documenté chez Centreon.fr.  Mais je veux vous dire au combien je suis satisfait ! Ne me charge (CPU Load) pas mon HP N54L, je peux maintenant surveiller aussi mon routeur (sous DD-WRT) et mes RaspberryPi (sans trop les charger non plus). Et puis ce système comble ma « soif de Data » j’espère que je pourrais exploiter cette nouvelle source de données pour des scenarii domotiques… j’y travaille. Ainsi que sur l’ajout de ma TV, GoogleTV et TvixDvico en supervision…

Parce que j’aime quand c’est tout vert, petit aperçu :

 

I’m on Github !

Bonjour à tous !

Juste un « ptit » message pour vous dire que je suis sur GitHub ou plutôt mes projets le sont seront tous.

Ca se passe ici : https://github.com/philmadomo

Je fais un peu de propre et je « Push » tout !

 

Serveur Maison : Migration Terminée !

J’ai terminé, il y a un mois, la migration avec succès de mon ancien Serveur Maison vers mon « Nouveau Serveur Maison ».
Voici un comparatif des spécifications techniques :

Marque/Référence	ASUS V1S	HP Proliant G7 N54L
Processeur/Fréquence	Intel Core 2 Duo T7500 / 2.20	AMD Turion II Neo N54L / 2.20
Mémoire RAM / Type	2048 Mo / DDR2	16Go / DDR3
Nombre de Disques	2 Sata (1 eSata + 1 interne)	3 Sata Interne (Extensible à 4)
Capacités Disque dur	160Go + 1To	250Go + 2To + 1To
Consommation	Entre 22 & 37 Watts	Entre 34 & 45 Watts

Alors pourquoi changer ?

Pour plusieurs raisons:

• Tout d’abord, avec une base de données (Mysql) grandissante, les temps de traitement devenaient de plus en plus longs, j’ai dans un premier temps cherché à acheter 4Go de RAM (le Max sur ce PC Portable) mais le prix était beaucoup trop élevé.
• Ensuite, la seconde raison est que je voulais une architecture plus simple à maintenir et je voulais pouvoir séparer les « grandes » fonctions sur différentes machines virtuelles.
• Et enfin, la dernière raison, je suis tombé sur une bonne offre pour le HP N54L à moins de 200 Euros (sans les 16Go de RAM)

Puisque rien ne change !

En effet, rien n’a changé par rapport à l’ancienne configuration, tous les services de base sont toujours présents:

• Partage de fichiers (NAS)
• Serveur Domotique (Domogik 0.1, MonChauffeEau, MonThermostat, divers scripts d’automatisation)
• Serveur VoIP
• Media Serveur (Logitech Media Server)
• Vidéo-surveillance (ZoneMinder)

Mais tous ces services sont « dispersés » sur différentes machines virtuelles sous VMWare ESXi. Voici la bête via vSphere Client  :

La Virtualisation au service de la maison !

Voici le détail des machines virtuelles qui tournent sous VMWare ESXi.

• Partage de fichiers et sauvegarde avec OpenMediaVault sous Debian
• Serveur Domotique sur Ubuntu Server 12.04.4 LTS
• Serveur VoIP avec XIVO sous Debian
• Media Serveur : Logitech Media Server sous Windows7 et Plex Media Server sous Debian (Plugin OMV)
• Vidéo-surveillance avec ZoneMinder sous Ubuntu Server 12.04.4 LTS

Pour compléter mon système, j’ai installé :

• une machine virtuelle de tests sous Ubuntu 13.04
• une machine virtuelle sous Windows7 pour le projet S.A.R.A.H sur lequel j’effectue des tests et essaie de l’interfacer avec le reste de mon installation (Work In Progress) !

Alors, Heureux ?

Globalement, Oui ! Je conseille à tous de passer à ce type d’installation (Virtuel). Pas de grosse difficulté pour la migration, tous mes périphériques USB Domotique (Téléinfo, PLCBUS, 1-Wire, RelayBoard) ont fonctionné (presque) du premier coup. Je reste bloqué sur un Dongle USB DVB-T qui fonctionne mal à travers ESXi (mais c’est un problème connu : donc je passe ! ). J’ai beaucoup appris et j’apprends encore:

• Je connaissais VMWare Workstation mais il faut dire que le couple VMWare ESXi & HP N54L me comble (si seulement le N54L faisait le ESXi VMDirectPath I/O) !
• Je voulais garder mon serveur VoIP avec Asterisk mais avec une Interface Web de configuration, et après quelques recherches il s’avère que XiVO d’Avencall est ce que je trouve de mieux -> Clair / Pro / Puissant.
• Pour la machine virtuelle « NAS »: J’ai longtemps hésité entre Xpenology et OpenMediaVault mais c’était tellement plus simple d’installer OMV, et cerise sur le gâteau le plugin Plex fonctionne très bien.

La virtualisation n’apporte pas de difficulté supplémentaire, au contraire, cela amène de la souplesse dans l’administration des services. Après il faut apprendre aux différentes VMs à communiquer : ce que je faisais en local avec du Bash / Perl ou PHP il faut y ajouter une couche de SSH / Telnet ou HTTP.

 

Cher Vincent !

Article en réponse d’un commentaire de lecteur sur l’article sur le Cablage-Ethernet-Et-Bus-Hybride :

Mon cher Vincent, tout d’abord merci et félicitations pour le choix de la construction Domotique. La construction, c’est beaucoup d’emmerdement d’embêtement / de réflexion / de bonheur / de déceptions. On le dit souvent mais pour faire « bien construire » il faut l’avoir déjà fait (pour éviter de faire des erreurs) !

Le but de la domotique doit être de te simplifier la vie et de te faire faire des économies. De plus, si l’écologie pointe le bout de son nez c’est mieux ! Mais je ne vois pas de réel objet/méthode Domotique qui soit aussi économique qu’écologique. Enfin je m’éloigne !

Question sur « Où placer les sorties du bus Hybride »:

Personnellement, j’ai placé toutes les sorties en hauteur ce qui, entre nous, est une véritable connerie (J’ai vu ça dans E=M6 apparemment la chaleur monte ce qui expliquerait pourquoi toutes mes températures sont fausses et doivent être compensées). Le plus simple et le plus discret reste juste derrière les interrupteurs. En bonus, vous pouvez vous servir d’un DS2401 voir DS2406 pour faire des interrupteurs « Virtuel ». Pour les autres endroits « stratégiques » je dirais: derrière d’éventuels HP et sur le dessus des meubles cuisine (ou tout autre futur meuble Haut).

Après, Câblage en Bus ou en Étoile ? :

Réponse : Les deux ! C’est un peu plus économique (moins de gaine et de RJ45) après je me suis limité à 2 capteurs (sorties Bus) par branche d’étoile ! Pour exemple, mon Rez de Chaussée :

Question sur une éventuelle commande de volet roulant :

J’utilise une autre technologie pour la commande de volet roulant du PLCBUS (les commandes passent par le réseau électrique) parce que « Le sans-fil c’est pas top » ©Domophil ! Mais si j’avais pu, j’aurais bien tiré du câble RJ45 dans le caisson du moteur du volet roulant.

Ce qui nous amène à la question sur l’installation physique :

J’ai eu la chance d’avoir accès au chantier en permanence et d’avoir une construction très longue grâce à une organisation « pas terrible » du constructeur de maison individuelle. Du coup j’ai tiré moi-même les 100 mètres de gaines (pré-filée par mes soins avec du RJ45 Cat6 classique) et avec le recul 100 mètres de plus n’auraient pas été du luxe. Après j’ai vu avec les gentils plaquistes pour les faire sortir les gaines au bon endroit ! Du coup, si les sorties de Bus sont toutes derrière les interrupteurs : il y a juste à s’assurer que les gaines électriques et les RJ45 sortent avec et s’expliquer avec l’électricien !


En Bonus:

J’insiste encore : ne pas hésiter à ajouter des mètres de gaine et RJ45 ! Aussi le câble HP pour créer des zones sonores : c’est pas mal aussi !

Merci Vincent & à bientôt !