Aspirer un site web

Wednesday, 19 May 2010
Linux

Il arrive toujours un moment, où vous en avez marre d'avoir à retourner chercher des informations sur un site web distant très lent ou quand vous êtes offline... Vous l'utilisez tellement souvent, que vous arrivez à rêver de l'avoir en local.

Malheureusement, toutes vos tentatives échouent, surtout à cause d'un fichier robots.txt très peu permissif, qui interdit certains User-Agent, comme votre WGET préféré.

Mais, il y a une solution :

wget -k -w 1 -e robots=off --user-agent="" -m http://votre_URL


Grâce à cette commande vous pouvez donc aspirez (faire un miroir) l'ensemble du site pour une consultation off-line.

Il est important de laisser le "-w 1" qui permet de laisser 1 seconde entre chaque requête sans quoi, vous risquez de saturer le site Web, et ce n'est pas très sympa.

Le "--user-agent=""" permet de supprimer les limitations côté serveur (assez rare, mais, on ne sait jamais). Il peut être remplacer par un User-Agent de navigateur comme Internet Explorer ou Firefox.

Le "-m" permet d'indiquer que nous souhaitons faire un miroir du site.

Le "-k" permet de modifier les liens pour que les urls pointent en local.

Dans le cas où des éléments du site sont réparti sur plusieurs domaines (les images sont sur un autre domaine que le site principal, par exemple : img.votresite.com), il vous faut ajouter les options "-H -D www.votresite.com,img.votresite.com"

RFC3442 : routes statiques via DHCP

Monday, 15 March 2010
Linux

Vous avez un serveur dhcp, et vous souhaitez envoyer des routes statiques au client DHCP. Mais, vous ne savez pas comment faire ?

Et bien, cela est facilement réalisable si vous utilisez la version ISC comme daemon DHCPd. Il existe sous Linux, Solaris, *bsd, windows (via cygwin).

Continuer à lire "RFC3442 : routes statiques via DHCP"

Performance RAID Linux

Sunday, 6 December 2009
Linux
Je viens d'installer mon nouveau serveur dédié chez Digicube. Celui-ci est composé de 4 disques 250Go, de 4Go de RAM, ainsi qu'un processeur Phenom quad core, à 2.3Ghz (et qui a évolué à 3Ghz suite à un échange).

Pour ce serveur, je souhaitais avoir de bonnes performances et de la redondance. Donc, je me suis mis à tester tout les modes de RAID possible, pour pouvoir faire mon choix. Pour cela, j'ai utilisé une distribution Debian 5.0 et l'outil Bonnie++.

Voici les résultats que j'en ai fait :



Pour une solution sur 4 disques, on a des performances étonnantes en RAID0 : 325Mo/s en écriture et 350Mo/s en Lecture. Excellent pour un serveur n'ayant pas de besoin en redondance, comme un mirroir FTP.

Pour la redondance, on a 2 solutions : RAID5 ou RAID10.

Pour le RAID5, on a d'excellente performance en lecture, mais des performances plus faible en écriture : 110Mo/s en écriture et 260Mo/s en lecture.

Le RAID10, lui est beaucoup plus équilibré : 150 Mo/s et 170Mo/s. Le RAID10 est moins impacté par une perte de disque du au niveau des performances, contrairement au RAID5. Mais, le RAID5 permet aussi d'avoir 750Go d'espace et le RAID10 que 500Go.

Au vu de mes besoins, il me faut des performances équilibré en lecteur et en écriture (Hébergement de machines virtuelles, base de données, ...), j'ai donc choisi la RAID10.

Pour un site web, je conseille sans aucun doute le RAID5, qui est très rentable et extrêmement performant en lecture.

Kernel Perso sur RPS OVH

Tuesday, 14 April 2009
Linux
Comme à chaque fois, il est compliqué de se satisfaire d'un kernel par défaut chez un hébergeur, même si ces derniers sont pensés pour 99% des cas d'utilisation.

Si vous êtes un tordu comme moi, vous aurez besoin du 1% qui manque.

Pour moi, c'est simple, il manque les deux options suivantes qui ne sont pas dans les kernels NetBoot:
- CONFIG_IPV6_MULTIPLE_TABLES : Permet d'avoir de multiple route IPv6
- CONFIG_IPV6_SUBTREES : Permet de faire du source routing IPv6

Dans cette article, je vais vous expliquer comment compiler votre propre noyau pour votre RPS.

Prerequis Importants :
- Être à l'aise sur la compilation de noyau Linux
- Être à l'aise avec l'utilisation des RPS
- Avoir du temps devant soi.

Pour information, je l'ai fais avec une RPS II (Atom 330) et un noyau sans les patchs GRSEC.


Continuer à lire "Kernel Perso sur RPS OVH"

Activer l'IPv6 sur un RPS OVH

Wednesday, 1 April 2009
IPv6 Linux
En plein essai d'un RPS (Real Private Server) de chez OVH, je vous fourni un petit Howto pour activer l'IPv6 sur ce RPS.

Pour information, le RPS est un serveur dédié qui n'a pas de disque dur interne, mais, un espace disque sur un SAN via ISCSI. Donc, pas forcement intéressant pour les serveurs de téléchargement, mais, pour un petit serveur ou un service sans trop d'accès disque...


Continuer à lire "Activer l'IPv6 sur un RPS OVH"

Debian 5.0 Lenny : FULL IPv6 Compliant

Friday, 13 February 2009
IPv6 Linux
La nouvelle version de Debian devrait sortir ce week-end, pour le jour de la Saint Valentin. Pas forcement un bon signe pour les copines de Geek...

Mais, ce qu'il faut retenir d'important avec cette version de Debian 5.0 dites "Lenny", c'est que c'est la première version de Debian 100% compatible IPv6 ("Full IPv6 Compliant"). Les versions précédentes n'apportait l'IPv6 que dans certaines briques logicielles, mais pas pour toutes.

Les autres ajouts importants de cette version :
- IPv6 ;-)
- NFS4
- LFS (Large File System)
- ...

Pour plus de détails sur les buts de cette version, cliquez ICI

(Source)

ISCSI en pratique...

Sunday, 18 May 2008
IPv6 Linux VMware
Tout le monde ne connait pas forcément l'ISCSI. C'est juste un protocole de transport de stockage en mode block basé sur l'IP. Pour faire simple, ce protocole permet de transporter des commandes SCSI sur de l'IP. Il existe des cartes hardwares pour avoir de très hautes performances. Mais, il existe sur la majorité des OS un driver sofware pour faire de l'ISCSI.

Dernièrement, dans le Pack SP3 de Windows XP, Microsoft met à disposition le driver Initiateur ISCSI (partie client). Il existe aussi sous Linux un module initiator dans le kernel LINUX. Mais, Linux propose aussi un module qui permet de rendre son linux en target ISCSI (partie Stockage).

Je mets à disposition pour faire des tests, une Image VMWare Linux en mode Target. Cette image permet de faire de l'ISCSI en IPv4 et en IPv6.

- Image VMWare Target ISCSI sur vmware.pouf.org

Il y a deux "storages devices" : un disque de 1Go vierge (donc à formater) et un espace en mémoire de 125Mo, qui ne devrait être accessible que par des systèmes Linux.

Dans le reste de l'article, je vous montre comment utiliser l'espace de 1 Go sous Windows en IPv6/IPv4.

Continuer à lire "ISCSI en pratique..."

Le mystère de Google

Wednesday, 23 April 2008
Linux
Tout le monde connaît Google. Mais, pour la majorité des gens, ce n'est qu'une page HTML avec un formulaire pour la recherche et des gadgets tout autour...

Mais, où et comment sont herbergés les outils en ligne de Google : c'est très certainement un très grand mystère...

Voici un site qui référence un peu toutes les informations qu'on se pose sur la solution d'hebergement de Google :

- Google un mystère fascinant et bien gardé sur PapyGeek

Voici les élements que je retiens :
- Un taux de disponibilité supérieur à 99.99% à faire palir tout hébergeur ou opérateur. Google Brazil est à 99.999% ce qui fait que 3 minutes d'indisponibilité sur un an.
- 103 Megawatts pour un site de production majeur ...
- Architecture Technique basé sur des clusters de machines à bas prix
- Architecture de stockages très complexe basé sur un système de fichiers distribués "Maison" : le GFS
- Architecture logiciel basé sur des outils la plupart du temps libre : Apache, Linux, ...

L'article passionnera n'importe quel geek comme moi !! :p On peut aller se rhabiller chez de nombreux hébergeurs concurrents surtout avec tous les problèmes d'énergies, de surfaces ou de climatisations auxquels ils sont confrontés... Ils n'ont pas ce genre de problème chez Google, surtout quand on voit qu'ils ont fait encore une fois, des bénéfices records !!

Une boite où l'on révérait de travailler ;-)

Problème CUPS... Corrigé...

Friday, 21 March 2008
Linux
Voilà, cela fait pas mal de temps que CUPS (Serveur d'impression sous Linux) ne fonctionnait plus sur mon serveur... Et cela sans raison apparente, le process freezait et plus aucune impression ou administration du service n'était possible...

J'ai trouvé la solution aujourd'hui : Les versions récentes de CUPS génèrent eux-mêmes les clés de chiffrement pour le service Web et cela bloque sur certains PCs. On se retrouve avec les logs suivants sur le démon CUPSD :

Listening to 127.0.0.1:631 (IPv4)
Listening to ::1:631 (IPv6)
Listening to /var/run/cups/cups.sock (Domain)
Loaded configuration file "/etc/cups/cupsd.conf"
Using default TempDir of /var/spool/cups/tmp...
Cleaning out old temporary files in "/var/spool/cups/tmp"...
Configured for up to 100 clients.
Allowing up to 100 client connections per host.
Using policy "default" as the default!
Full reload is required.
Loaded MIME database from '/etc/cups': 34 types, 39 filters...
Loading NextJobId from job cache file "/var/cache/cups/job.cache"...
Full reload complete.
Unable to find IP address for server name "bigworx"!
Listening to 127.0.0.1:631 on fd 2...
Listening to ::1:631 on fd 3...
Listening to /var/run/cups/cups.sock on fd 5...
Generating SSL server key...


Donc, j'ai trouvé au hasard sur un forum Gentoo, que cela proviendrait d'un problème avec une fonction random qui poserait problème, lors de la création des clés SSL pour le service WEB de CUPS. Donc, pour résoudre ce problème il m'a suffit juste d'installer le démon "clrngd". Je ne sais pas ce que fait exactement ce démon, mais, çà marche.

Et hop, on relance CUPS et la génération de clé SSL fonctionne parfaitement et CUPS se lance sans aucun problème... Enfin... On remarquera au passage, que lors de la création des clés, le démon "clrngd" utilise 100% de CPU...

Si quelqu'un possède des infos plus complète sur ce problème, qu'il n'hésite pas à ajouter un commentaire...


Test de l'hebergement chez Gandi.

Wednesday, 30 January 2008
Linux
Voilà, pour tester, je me suis offert grâce à la pub sur mon site une location d'une part d'un serveur XEN chez Gandi. Un serveur Virtuel dédié sous XEN. J'avais déjà fait un article sur ce service en beta chez Gandi : L'offre XEN de chez Gandi

Les premières impressions sont plutôt bonne, pour le prix : 6€ HT (7€12 TTC) pendant la phase BETA.

Continuer à lire "Test de l'hebergement chez Gandi."