Suivi de la plate-forme Apinc

Ce billet est une copie de celui posté sur le suivi du serveur Jabber.

A cause d’une intervention sur les serveurs d’APINC cette nuit, le serveur Jabber a eu une petite coupure, la passerelle MSN n’a pas redémarré après la coupure, elle devrait l’être dans la soirée, ou demain.

Un problème de DNS a aussi eu lieu aujourd’hui ce qui peut entraîner des problèmes de connexions. Si vous avez des difficultés pour vous connecter, il faut forcer l’adresse du serveur à 80.248.214.47 dans la configuration de votre client.

La migration de mail devrait avoir lieu samedi 27 janvier dans la nuit, les services imap/pop/smtp seront donc suspendus à partir de minuit environ et jusqu'à la fin de l'intervention.

MAJ : Nous allons également profiter de la nuit pour faire quelques interventions : Changement de la machine Jabber et rebranchement des machines anciennement hébergées chez Ovanet.

MÀJ 2007-01-28 08:25 : La synchronisation des mails est terminée depuis 1h, quelques détails restent à régler néanmoins. Les machines ovanet ont bien été migrés, les services jetable/irc/ns2 globenet devraient bientôt revenir. N'hésitez pas à nous faire part du moindre problème via les forums.
MÀJ 2007-01-28 11:25 : Les mails remarchent, reste les mailing listes, qui nous donnent du fil à retordre... Restez branché
MÀJ 2007-01-29 11:00 : Tout fonctionne bien pour les mails, la propagation dns devrait être finie. Il reste quelques réglages, mais le principal est fait.

PS: Au passage, suite au changement d'IP, il n'est plus possible, au moins pour le moment, d'utiliser mail.apinc.org pour le webmail. Utilisez plutot http://webmail.apinc.org/.

Aujourd'hui sont survenus deux soucis sur le serveur SQL, un ce matin, un ce soir. Le problème du matin est survenu vers 10h30 et a causé un rédemarrage du serveur, à priori sans incidences sur les tables. Un second problème est survenu vers 19h30, empêchant la plupart des connexions au serveur et entraînant une chute des performances des serveurs frontaux même pour les fichiers ne dépendant pas du SQL pendant un peu moins de 30 minutes. Ce problème venait d'une charge importante sur plusieurs tables utilisateur : trop de requêtes simultanées ont conduit à des ralentissements importants du serveur; ces requêtes ont été terminées par un admin et les serveurs ont pu repartir normalement.

Une vérification et optimisation des tables sera effectuée ce soir/cette nuit demain (soit vendredi) dans la nuit au cas ou. Par ailleurs, l'ajout d'un giga de mémoire RAM sur la machine est fortement envisagée. En attendant, les recommandations concernant la mise à jour de vos applications et la désactivation de la fonction de log de referrers (que vous utilisiez wikini, spip, punbb, etc) sont plus que jamais d'actualité.

Le 25 janvier à 20h30 a eu lieu une réunion principalement dédiée à la planification et l'organisation des futures actions des admins et de l'association. Le compte-rendu sera bientôt disponible en ligne, nous mettrons à jour ce billet à ce moment la.

Edit: Le compte rendu "brut" est disponible.

Un problème à été identifié et corrigé sur les mailing listes en fin d'après midi. La bonne nouvelle c'est que du coup les mails ont temporairement été délivrés plus rapidement, la mauvaise étant que ceux des ML ont pris plus de temps. Nous continuons à préparer la mise en place du nouveau serveur de mail en effectuant des tests de synchronisation entre l'ancienne et la nouvelle machine.

Au beau milieu de la foret de choses à faire pour les administrateurs systèmes, nous avons abattu aujourd'hui deux petits arbres concernant des problèmes de résolution DNS.

Le premier concernait un problème de synchronisation des DNS entre les serveurs ns0 et ns1. Le serveur ns1 ne récuperait pas correctement les données du ns0, pouvant poser des problèmes sur les domaines nouvellement installés, ou les sous-domaines récemment définis.

Le second concernant quant à lui un problème de résolution DNS à l'interieur de la plateforme, entre les differentes machines qui la composent. Ce problème pouvait se manifester de differentes façons telles que: echec des include() en PHP avec une URL en paramètre (ce que nous vous déconseillons de toutes manières, au passage), délai dans le serveur de messagerie qui effectue pleins de vérifications au niveau des noms, etc.

Nous avons pris le temps de désactiver en partie les fonctionalités d'archivage des referrers (pour le moment uniquement l'affichage, soit les fichiers handlers/page/referrers.php et handlers/page/referrers_sites.php. Il est fort possible que nous soyons obligés de patcher aussi les fichiers wakka.php des sites concernés, et d'étendre ces modifications sur tous les wikini hébergés par APINC pour plus de sureté Update 11/01 08:21: Nous avons aussi désactivé tout log de referrer sur les wikini les plus chargés) sur une dizaine de wikini hébergés par APINC aujourd'hui. Cela devrait temporairement améliorer les performances, puisque ces sites la étaient les plus ciblés par les spammeurs parmis les sites hébergées par APINC, en tout cas ce matin.

Si vous faites partie des sites concernés, merci de ne pas ré-activer cette fonctionalité sans vous être concertés avec nous au préalable.

Update 20h21: Une optimisation du serveur MySQL a été effectuée à 20h05. Une erreur (humaine) suite à cette optimisation a causé des problèmes rendant les sites hébergées inaccessibles pendant 5 minutes environ avant d'être corrigé. Désolé pour la gène occasionnée, la manipulation devrait aider le serveur à tenir la charge à l'avenir.

Update 01:42: Pour compléter ces opérations, nous allons optimiser certaines grosses tables ces prochaines nuit, à commencer par ce soir. Il est possible que certains sites soit perturbés pendant ce temps, mais l'impact devrait être minimal et court.

La synchronisation des données mails entre le serveur actuel et le nouveau serveur demande beaucoup de temps. L'arrêt des services imap(s)/pop(s) entre 0h et 8h devrait donc permettre de l'accélerer très nettement et de lui garder une pertinence au niveau temps. Après ça, il ne manquera que le certificat ssl qu'il nous faut faire avec la nouvelle adresse ip.

Suite à la discussion sur le forum, le php 5 d'APINC passe en version 5.2 cette nuit. PHP 4 reste non affecté pour le moment.

Update 02:22: Mise à jour effectuée sur une des machines du cluster, en attente de la fin d'un archivage des logs pour le faire sur la seconde.
Update 03:35: Mise à jour effectuée sur la deuxième machine. Si vous rencontrez des problèmes, n'hésitez pas à contacter les admins.
Update 05:30: phpMyAdmin a également été mis à jour en version 2.9.11. Il tourne toujours en mode PHP4, par contre.

Suite à une autre vague de spams sur les wikini hebergés chez APINC, le serveur SQL a connu quelques ralentissements cet après-midi. Nous avons du tuer certaines requêtes trop longues et désactiver la page referrers de certains wikini pour améliorer les choses et nous continuons de travailler la-dessus. (voyez aussi le billet précédent sur le sujet)