Développement du site en temps réel

Salut à tous !

Il nous a été récemment fait la remarque sur le forum des suggestions que vous étiez nombreux à vouloir savoir ce qui se passait dans la tête des hautes instances du sdz (hum hum) à savoir les admins et plus précisément les développeurs.
Je rappelle pour commencer qu'à l'heure actuelle, le principal développeur du site est karamilo.

Si certains sujets du développement sont sensibles (surprises, ou ayant trait à la sécurité), il y a bon nombre d'autres choses que nous pouvons vous dire. Nous n'étions pas persuadés à la base que cela pourrait vous intéresser, mais vous semblez nous dire le contraire, donc nous nous efforçons de vous écouter

Ce topic se verra alimenté dès qu'un développeur fait quelque chose de nouveau (et surtout dès qu'il pense à le dire, mais on va s'efforcer d'y penser ). Le topic est verrouillé car nous voulons qu'il conserve une certaine clarté. Seuls les admins pourront donc y poster des messages.
Si éventuellement vous avez des remarques, vous pouvez toujours les faire en créant un nv topic dans le forum suggestions ou encore en envoyant un MP au développeur en question si c'est particulièrement privé.

Encore une fois, j'insiste : nous ne pourrons pas tout dire dans ce topic pour les raisons évoquées ci-dessus, mais nous allons faire en sorte d'en dire le maximum.

Si nous n'avons pas encore de véritable benchmarks pour le moment pour vérifier l'amélioration du temps de réponse du site avec homer et lisa en parallèle, nous avons néanmoins comme un certain nombre d'entre vous déjà vu des temps de chargement occasionnels supérieurs à 20s, ce qui est beaucoup trop.

Tout indique que c'est la base de données (sur lisa) qui a du mal avec un grand nombre d'accès concurrents sur des tables, en particulier celles du forum.
Il nous faut prendre des mesures pour améliorer les requêtes sur les forums.

Pour commencer, la liste des topics d'un forum fait appel à la commande LIMIT de MySQL. Or, lorsqu'on fait un LIMIT le sgbd charge toutes les entrées puis garde uniquement celles demandées à la fin. Lire 20 000 entrées (parce qu'il y a 20 000 topics dans un forum) est particulièrement lourd. Il faut éviter d'utiliser LIMIT.
Pour ça, on peut employer une technique similaire à celle qui semble être en vigueur sur les très gros forums de hardware.fr, à savoir attribuer un numéro à chaque topic et trier, ordonner via ce numéro pour faire une césure avec la clause WHERE.

Nous travaillons actuellement à réaliser cet ordonnancement qui est assez complexe et fourmille de bugs pour le moment. Nous faisons un maximum de tests pour repérer tous ces bugs, il y en a encore plein (les topics sont mal ordonnancés dans un certain nombre de scénarios précis qu'il nous faut lister).

Le screen qui suit a été pris depuis les forums de la version de développement du site. Les numéros à côté des noms des topics ne sont que là pour le débuggage pour vérifier si tout est ordonnancé correctement.

Après l'ajout récent du module de calendrier, il devient indispensable de créer un petit outil pour choisir les dates.
Par exemple, à l'ajout d'un évènement, il faut pour l'instant mettre à la main :
"08/05/2007 à 15:43:36"

Le but est de faire un outil en JS pour sélectionner de façon interactive la date. Un peu à la manière de voyages-sncf.com par exemple.

Sortie prévue en mai/juin.

En cours :

Refonte de l'administration des groupes.
Choix des droits, groupe par groupe, puis droit par droit. Enfin on choisit les catégories à affecter à ce droit.
Split de la table groupes en 2 tables "groupes" et "droits".
Gestion d'un droit affectable qu'à un ensemble défini de catégories (pas toute comme c'était le cas avant).


Programmation des news à une heure précise.


Avancée du système de cache sur le moteur de templates. Cache de niveau 3, méthode is_cached() implémentée.
Il faut encore gérer les balises <nocache> dans les templates et les balises <include>. Ce sont les seules balises qu'il ne faut pas évaluer en cache 3.
Problème avec ce cache pour la gestion du décalage horaire, format des dates et nombre de posts par page.

Diverses tentatives sur la version de dév de placer les modules de l'accueil à des positions différentes, moins choquantes. Je vais demander l'avis de la communauté je crois.

Edition et réécriture de tous les droits des newsers après la mise à jour de la semaine dernière qui leur a causé de sacrés bugs, débuggage & déblayage par kara en début de soirée. C'est long c'est chiant mais une fois que ça sera fait ça sera propre.
Le prochain chapitre du tuto linux attendra.

Mise en cache des droits par catégorie et par groupe. On regénère les caches à l'édition des droits et on les inclue sur chaque page.
--> une jointure assez lourde en moins sur chaque page + une requête en moins sur pas mal de pages du forum.

Les droits par cat sont enfin VRAIMENT gérés partout.

Rajout de la programmation des news à une heure précise.

J'ai implémenté un petit calendrier pour rentrer facilement les dates/heures partout sur le site
Enjoy surtout pour la partie Admin du site.

Suppression de la balise Zcode <wikipedia> et intégration de Code : Zcode. De même pour Code : Zcode. On peut spécifier le type, l'url et la langue :

Code : Zcode
le super article anglais sur toto

Ajout de la possibilité aux membres de mettre leurs propres évènements visibles par eux-seuls, dans le calendrier sur l'accueil.

Gros changements sur les mps en cours (gestion des dossiers, gestion des lus/non lus, mp suivant/précédent, ...)

Stats sur les inscriptions, visibles en partie Admin.

Simplification extrême de l'inscription.

Changements sur les mp finis.

Ajout de plein de petites améliorations (cf forum Suggestions).

Gestion d'un design distant en cours.

Citation : M@teo21

Passage de la globalité du site en UTF8 (code, bdd, html, css, ...)

Enregistrement des informations des sessions en fichiers cache : une requête de moins sur toutes les pages.

Suppression de la jointure sur la table Membres dans la requête d'update des sessions -> une jointure en moins à chaque page.

Suppression de tous les designs utilisés à moins de 1% et non compatibles IE, remplacement des utilisateurs de ces designs par l'url distante grâce à la nouvelle fonctionnalité des designs distants (si bien que personne ne perd son design, mais nous on ne garde qu'une poignée de designs sur notre ftp pour pouvoir aller bcp plus vite en faisant les mises à jour).

Création automatique à 4h du matin tous les matins d'un pack design à jour pour les designers.

J'ai fait beaucoup d'administration système ces derniers jours (comprendre : j'ai pas décollé de la ligne de commande linux en ssh).

• J'ai fait du ménage sur les disques (un peu).
• J'ai porté le super fichier de conf de screen depuis la partition crashée de Lisa sur tous les autres serveurs.
• J'ai créé un système de monitoring sur Bart de la réplication SQL (envoi de mail vers moi, kara et l'hébergeur en cas de retard SQL).
• J'ai vérifié l'état des backups FTP locaux et distants sur le serveur de backup, RAS.
• J'ai récupéré de Lisa sur la partoche crashée les scripts bash de backup des bases. Ils backupent désormais directement la base répliquée de Bart (d'où l'intérêt du monitoring pour être sûr d'être à jour) ce qui permettra d'éviter quasi totalement de couper le SdZ une partie de la nuit pour les backups (la solution était trop sous nos yeux depuis longtemps pour qu'on ne l'aie pas vue avant ? ). Le backup distant des dumps sur europe-backup est fonctionnel et marche bien (vérifié).
• J'ai créé un script de backup de tous les mails imap stockés sur bart, il les envoie sur europe-backup (ça c'est nouveau mais c'est mieux d'avoir un backup de ça aussi). Le backup ne se fait qu'une fois par semaine le lundi tôt le matin, il est assez gros (plus de 700 Mo de mails).
• J'ai installé sys_alive sur lisa 2, les explosions de charge provoquées par mysql étant devenues insoutenables (plus de 300 de charge en l'espace de quelques minutes). Le service est coupé et relancé quand la charge dépasse 12, et c'est configurable au besoin. Ca fonctionne bien, mais c'est seulement une solution de secours temporaire le temps de trouver le vrai fond du problème.
• J'ai supprimé les crons de sphinx sur lisa 2, les index étaient complètement foireux et j'ai comme l'impression que le serveur avait tendance à surcharger justement pendant l'indexation delta des forums.
  Sur une suggestion pas bête du tout de Laurent (hébergeur), j'ai installé sphinx sur bart. Pas encore eu le temps de le configurer, pas sûr que j'aie le temps de le faire avant de partir en vacs. Si ça fonctionne ça sera vraiment excellent : ce sera Bart qui indexera (opération lourde qui aurait tendance à surcharger lisa surtout aux heures d'affluence) et qui répondra aux demandes du formulaire de recherche. Vu qu'il a une copie de la base toujours à jour grâce à la réplication et qu'il n'est globalement pas occupé, c'est tout à fait jouable. L'indexation devrait être plus longue cependant. Je me pose aussi sérieusement la question de savoir si on continue les logs delta ou pas, car le faire toutes les heures c'est assez gourmand mais surtout d'après la doc de sphinx c'est pas trop recommandé, ils disent que vaut mieux autant que possible refaire une indexation complète. On peut réindexer complètement deux fois par jour par exemple. C'est plus sûr et c'est pas la mort franchement pour la recherche.
  Pendant ce temps, la recherche ne fonctionnera pas sur le sdz. Elle foirait de toute façon depuis quelques jours à cause des index mal créés.

Tout à fait à part, le lien "Accueil" de la speedbarre ramenait vers index.html, je l'ai fait renvoyer vers / (racine), de même pour le lien de la bannière. Ca évitera aux robots de croire à deux pages différentes et pourra jouer éventuellement un peu sur le référencement.

La recherche est de retour, j'ai réussi à configurer sphinx en l'adaptant par rapport aux anciens fichiers de configuration. Il semblerait qu'il n'était pas en mode UTF-8 ce qui pouvait être la cause de plusieurs bugs depuis le passage de tout le site à UTF-8.

La recherche tourne donc via le démon sphinx sur bart qui possède une réplication de toutes les bases de lisa 2. Ca fonctionne j'ai testé. J'ai fait un cron pour 3h du matin pour mettre à jour l'index, et j'ai désactivé l'indexation delta pour le moment (pour simplifier et parce que la doc semblait ne pas trop l'encourager).

Le démon searchd se lance au démarrage de bart au cas où on le reboote, comme ça pas besoin de penser à relancer le démon.


Pas (du tout) le temps de faire une news pour faire le point sur ça et qq autres trucs dont l'architecture des serveurs, je ferai ça ce soir tard ou demain j'espère, un petit point avec tous les visiteurs me semble nécessaire.
Jvais arriver à la bourre pour mon rdv à cause de cette affaire mais bon, au moins ça marche

Nouveau captcha sur l'inscription : beaucoup plus puissant. Possibilité de recharger l'image sans recharger la page (si on n'arrive pas à lire les caractères).

Correction ENFIN terminée des mails qui passaient en spam. Tous nos mails ont une note Antispam très correcte et passent bien partout.
Mis à part les vieux webmails (comme le vieux hotmail) où les accents passent mal car ils gèrent mal l'utf8.
Mis à part ça, tout marche au poil --> j'ai remis la validation par mail à l'inscription.

Passage sous postgresql sur tout le site. La version de développement est entièrement sous postgresql et semble bien fonctionner même s'il faudrait davantage pousser les tests.
Le transfert sous postgresql se fera dans les mois qui suivent sur le SDZ.

Commencement de la nouvelle version de Vos Tutos, directement sous postgresql (cf post précédent).
Beaucoup de nouveautés (surprises !) et de fonctionnalités avancées. Sûrement en ligne avec le transfert postgresql, dans quelques mois.

Ajout de la messagerie Skype sur le profil du membre

Le flux RSS affiche les news en entier maintenant, avec le zcode => possibilité de lire les news entières sur le flux RSS
La mise en page CSS arrivera plus tard.

Refonte totale du module de Goodies, avec paiement intégré. Très complet, pourra resservir plus tard.

Possibilité d'éditer les messages privés non lus par les autres membres de la conversation

Gestion automatique des factures : pour nous, pour le module de Goodies et bientôt pour la publicité.

Passage sous postgresql !

Méga optimisation des forums, notamment réduction de la complexité de la requête listant les topics d'un forum. Ca semble aller vraiment bcp mieux !

Mise en place des transactions SQL, en espérant que cela résolve le problème des positions erronées sur les sujets.
Recalcul de toutes les positions : OK.

Ajout de la balise Math pour utiliser le Tex :

Résultat :




Code :

Code : Zcode - Afficher / masquer les numéros de ligne