Développement du site en temps réel

Ajout de la balise Math pour utiliser le Tex :

Résultat :




Code :

Code : Zcode - Afficher / masquer les numéros de ligne

Rajout de la balise Secret :

Secret (cliquez pour afficher)

Code : Zcode - Afficher / masquer les numéros de ligne

On ne peut plus mettre de secret dans des secret maintenant.

Rajout d'un champ "Commentaires" dans la liste d'amis (pour mettre un petit commentaire sur un ami)

Correction de bugs sur le moteur de zcode

Rajout des connectés sur une news. (en bas du tableau, sous les commentaires). Comme sur le forum.

Rajout de la page "Voir les sujets les plus actifs" sur tout le forum.

Remise en service du module de recherche.

Installation et configuration d'APC pour mettre en cache en mémoire partagée une version compilée des scripts PHP. Il n'y avait en effet plus de compilateur PHP depuis le passage du SdZ à Lisa en temps que serveur web.

Paquets php5-dev et apache-dev installés pour l'occasion.
Division du temps de génération des pages par 2 ou 3 au moins à vue de nez (en comptant le temps SQL qui, lui, n'a pas changé). Des temps de chargement d'environ 20-40ms sur les forums en période non chargée, que du bonheur.

Gros efforts de référencement :

• Ajout de la balise meta description
• Idem pour meta keywords (malgré le peu d'utilité)
• Optimisation du title

Puis, optimisation massive de la description et du title sur toutes les pages du site.

Création d'un sitemap énorme : 250 000 urls recensées. Envoi du sitemap aux principaux moteurs de recherche.


Bizarremment, le retour se fait sentir assez rapidement par les bots de recherche. On a battu le nombre d'onlines simultanés à cause de ça ! De (très) nombreux bots sont en continu sur le SDZ depuis quelques jours.
Pour ne pas tromper le compteur d'onlines, j'ai mis au point une séparation dans les sessions pour les robots.
Ainsi, ils ne sont plus comptés dans le nombre d'onlines et on peut même les voir à l'adresse suivante :
http://www.siteduzero.com/connectes.html?showbots_only=1

J'ai passé tout le week-end sur les triggers des sujets des forums. C'est du code Plpgsql (proche du pl/sql d'oracle), la syntaxe est dégueu mais il faut reconnaître que c'est sacrément puissant si c'est bien utilisé.

Le but était de réécrire complètement l'algo d'ordonnancement des sujets des forums. On a besoin d'un ordonnanceur "manuel" car c'est le seul moyen que l'on a d'afficher rapidement les listes des topics sur nos forums qui sont devenus très gros. Un LIMIT ne suffit pas, car il consiste juste à tronquer les résultats, que ce soit avec mysql ou postgresql (on l'a dit plus tôt dans ce topic je crois).

Bref, l'ordonnanceur "marchotte" actuellement sur le sdz mais y'a pas mal de bugs, d'où l'idée de le réécrire complètement avec une autre approche.
Samedi soir j'ai implémenté mon algo sur le sdz après des tests satisfaisants, mais ça a fait ramer rapidement tout le serveur tout en foutant un joyeux bordel. J'ai tout remis comme avant mais le serveur sql réalisait des interblocages (deadlocks) quand même. J'ai viré un lock des triggers qui est censé assurer une plus grande stabilité mais qui était sûrement la cause de ces deadlocks. Ca a l'air de tenir (j'espère), c'est dommage que ça ait deadlocké dimanche soir alors qu'il n'y avait personne pour rebooter le serveur sql pendant 1h30 (heureusement l'hébergeur est passé par là, merci à lui).

Bref, j'ai plus reculé qu'avancé alors que j'ai littéralement passé tout mon week-end dessus. Je n'ai pas supprimé mon algo quand même, je l'ai sauvegardé.
Cet aprème je me suis occupé à récupérer un dump de la version actuelle de la bdd du sdz et à l'implémenter sur scratchy. Avantage : comme ce serveur n'est pas utilisé, je peux le bourriner pour tous les tests que je veux sur une "vraie" bdd de prod, tout en restant en développement et en ne compromettant pas le site du zéro (qui ne risque pas de "planter" à cause de mes tests puisque je travaille complètement ailleurs).

Avec arconis on a pu reproduire les mêmes bugs qui apparaissent sur le sdz (notamment sur le forum dg), c'est encourageant. Oui car reproduire les bugs est vraiment encourageant à ce stade, c'est un bon début, je dois dire que samedi soir et dimanche j'étais un peu désespéré. Il reste encore à faire pas mal de tests pour bien tout corriger / améliorer au niveau de l'algo, mais je sens que je suis sur la bonne voie pour une fois.


ps : en bonus track, une de mes pages de brouillon pour l'écriture de l'algo (c'est assez imbitable faut pas chercher à comprendre, mais y'en a qui vont peut-être trouver ça beau pour leur fond d'écran )

J'ai passé l'après-midi à corriger les backups qui ne fonctionnaient plus depuis quelques jours suite à la mise en place d'un firewall un peu (trop) puissant. Tout est bon et les backups tournent à nouveau sans problème, je dormirai mieux la nuit

Sinon j'ai mis le tout dernier backup de prod sur scratchy pour tester avec les derniers bugs d'ordonnancement des sujets découverts récemment.
Bizarrement ce n'est pas un bug d'ordonnancement qui m'aura occupé ce soir mais une erreur de comptage du nombre de sujets par forum lié à la présence de sujets "trace" dans les forums d'origine pour les sujets déplacés. Une solution a été rapidement trouvée, le recompte des sujets a été fait, normalement tout est bon.

Cela signifie qu'on ne devrait plus voir les topics "tout en haut" des forums disparaître, comme c'était souvent le cas pour le topic "Arrêt sur image" du forum discussions générales. Je touche du bois mais normalement c'est bon.

Les bugs d'ordonnancement ne sont pas réglés par contre, il faut faire des recherches un peu plus poussées, je verrai demain soir.


ps : merci à arconis pour m'avoir soufflé l'idée de la cause du bug du mauvais nombre de sujets par cat

Nouveau formatage des dates et heures

J'ai passé une bonne partie de la journée à gérer totalement différemment les dates et heures du site.

Avant, le formatage et la gestion du décalage horaire étaient réalisés sur PostGreSQL lors des requêtes SQL. Cela impliquait du travail supplémentaire pour le server SQL et surtout, cela obligeait du trafic réseau supplémentaire qui était redondant.

Exemple : pour afficher Aujourd'hui/Hier/il y a 34s ..., il faut plusieurs champs :

• Date/heure formatée
• Est-ce que la date est "aujourd'hui" ?
• Est-ce que la date est "hier" ?
• Age en heures
• Age en minutes
• Age en secondes
• Heure:minutes:secondes (pour "aujourd'hui à HH:MM:SS")

Au final, le server SQL envoit 7 champs qui ne sont qu'une redondance du champ date/heure. Du coup, on gère tout côté en Template (formatage et décalage horaire). Cela réduit la charge du server SQL et la bande passante entre SQL et PHP.

L'avantage, c'est que j'ai développé une fonction utilisateur template (pratique ces fonctions utilisateur !). Il suffit d'écrire :
Code : XML - Afficher / masquer les numéros de ligne

Le moteur s'occupe de formater tout ça selon le désir de l'utilisateur, de gérer le décalage horaire et d'afficher dans la bonne langue. Il y a plusieurs types d'affichage :

• Il y a 15s
• Il y a 15 min
• Il y a 1h15
• Aujourd'hui à 10h15
• Hier à 10h15
• le 15/02/2007 à 10h15

On peut préciser à la fonction si on veut commencer par une lettre minuscule ou majuscule, si on veut formater une date/heure ou une date, etc.

Au final, c'est très puissant et prend moins de ressources (réseau surtout) qu'avant. Alors j'ai uniformisé tout le site : j'utilise cette fonction sur les templates et j'ai supprimé la gestion des dates sur toutes les requêtes SQL.
Cela représentait pas mal de choses à changer.

Mais l'avantage est que ce formatage est maintenant disponible sur tout le site ! Partout où il y a une date. Ainsi, sur le forum ou sur la liste des membres, on note le petit changement.

Cela a impliqué beaucoup de modifications, il est possible que certaines dates sur des pages annexes soient mal formatées. Dans ce cas, je vous invite à créer un rapport de bugs !

Merci

Le bug d'ordonnancement des sujets du forum, qui nous préoccupait depuis plusieurs mois, est pratiquement vaincu. Il n'y a en fait plus de problème constaté sur les forums, à l'exception du forum PHP où un léger bug (pas visible) subsiste. Nous n'avons aucune piste pour le moment, mais on relâche un peu la pression, beaucoup d'efforts ont été faits à ce sujet ces dernières semaines et ils ont fini par être payants.

Un merci particulier à arconis pour avoir joué les testeurs de l'extrême

J'ai rajouté des liens "Précédente" et "Suivante" un peu à tous les endroits où il y a une pagination, sauf sur les tutos où c'est pas trop faisable pour le moment. C'était un peu long et chiant mais je pense pas avoir fait d'erreur.

Ces liens devraient permettre de cliquer plus rapidement pour changer de page grâce à leur taille plus importante (loi de Fitts, toussa).

J'ai rapidement simplifié 2 requêtes qui s'exécutaient lors de la visualisation d'un chapitre de big tuto. Ces requêtes étaient en moyenne 10 fois plus lentes que les autres et mettaient parfois 15-20 secondes à s'exécuter.

Il a suffit d'enlever le LIMIT de la requête pour la booster. Apparemment LIMIT ne se contente pas de couper les résultats de la requête, c'est beaucoup plus gourmand en performances que ça. On a bien fait de s'en affranchir sur les forums c'est clair.

On ne devrait donc plus avoir de lenteur au chargement d'un chapitre (hors encombrement réseau mais ça on n'y peut rien ). Si je vois encore des lenteurs sur ces requêtes je verrai ce que je peux faire à nouveau, mais visiblement c'est bien parti.

On a eu de gros soucis hier et avant-hier avec la base de données. Un crash délicat sur la table des big tutos, un casse-tête à résoudre.

Par chance, karamilo a réussi finalement à tout résoudre sauf le tuto mapping dont on avait heureusement une copie (il a été remis il y a quelques minutes).

Bref plus de peur que de mal, tout est résolu. Cela explique notamment les ralentissements de ces 2 derniers jours sur le site.

Rajout d'une toute nouvelle fonctionnalité : la sauvegarde automatique des formulaires

Elle permet, sur toutes les Zform du site, de sauvegarder le texte écrit toutes les minutes, de façon transparente. Ainsi, si vous écrivez un très long tutoriel, news ou message, vous ne perdrez pas votre texte en cas de coupure de courant, de plantage du pc ou du navigateur !

Les sauvegardes sont accessibles dans "Mes options" ou directement sur chaque Zform (lien "Sauvegardes automatiques de vos textes"). Le dernier lien permet d'avoir un bouton pour réinsérer directement la sauvegarde dans la zone de texte

Je peux vous dire que ceux à qui il est déjà arrivé de perdre de longs messages comme ça seront bien contents

Attention à bien recharger vos caches CSS et JS par CTRL+F5 sur votre navigateur pour profiter pleinement des nouveautés.

Petites corrections :

• Vérification de l'encodage en utf-8 des fichiers du sites
• Suppression de la fleche vers le dernier message non lu dans les MP si c'est un nouveau MP sans réponses pour uniformiser avec le forum
• Correction de l'encodage du signe € dans l'affichage de la page publicité.

Le zcode coupe automatiquement les URL longues maintenant :

http://mon_site_tres_long_qui_fait_tou [...] ur_zcode.com

Amélioration de la connexion sans cocher "se connecter automatiquement".
Maintenant, il n'y aura plus de déconnexion intempestive
La session durera vraiment jusqu'à ce qu'on se déconnecte ou bien qu'on quitte le navigateur.

Légère amélioration sur l'autobackup : il commence au bout de 6s et après périodiquement toutes les 60s.

Zuploads :
Le redimensionnement d'image ne remet plus la miniature à 100px par défaut mais laisse la miniature à la taille choisie précédemment.
Cas particulier, si on redimensionne plus petit que la miniature, alors la miniature aura la taille de l'image réelle.

Changement du colorateur syntaxique de Geshi à Pygments.
Du coup, il n'y aura plus le bug majeur de Geshi

Par contre, la transition va sûrement causer quelques petits bugs vu la complexité de l'opération car il faut pouvoir traiter les codes générés de Geshi et Pygments qui sont fondamentalement différents.

Les <secret> s'affichent si le JS est désactivé

Désormais, si on poste une très grosse image (ou un code très large) dans un message des forums, on n'aura plus le bug qui faisait qu'une partie de l'image et des autres messages disparaissait sur la droite.
Ce changement n'affecte que le design bluzaz. Les autres designs officiels sont soumis à des bugs assez divers dans ce cas de figure que je n'ai pas le temps de régler pour le moment.

Soyez donc prévenus : vous aurez une barre de défilement horizontale si ça arrive. Ca sera peut-être un peu inesthétique mais c'est tout de même largement préférable au bug qui faisait disparaître du texte.

Alternance de couleur des lignes des tableaux (notamment du forum) sur tous les designs
Cela permet de mieux distinguer chaque ligne.

Rajout du droit de vote aux invités pour les sondages.

Les sondages "tournent" maintenant sur la page d'accueil. Celle-ci affiche le premier sondage auquel vous n'avez pas encore répondu !

Ajout de la balise de code inline nommée "minicode".

Code : Zcode - Code d'exemple de minicode

Résultat :
<code>
<html><p>Vive les friandises :).</p></html>
<code>
<html><p>Vive les friandises :).</p></html>

EDIT Mateo : ça ça va être super pour les tutos, j'en aurais eu besoin depuis longtemps d'ailleurs
J'ai édité le tuto sur le zCode pour parler de cette nouvelle balise !

La coloration Php est maintenant automatiquement html+php. Cela colore d'un coup le HTML, le CSS, le Javascript et bien sûr le PHP

Code : PHP