Page 1 sur 1

Récupèrer CONews

MessagePosté: 28 Novembre 2012, 20:03
par orienteur51
Bon depuis un bout de temps je dois m'en occuper mais faute de temps je ne peux pas :
Il y a un site super qui s'appelle webarchives (http://archive.org/web/web.php) il scanne le web à des dates différentes. Dedans on retrouve CONews.

L'objectif est de récupérer les dernières versions du forum.
En gros: partir de la racine de chaque sous forum enregistrer chaque page. Pour chaque page : enregistrer la page puis aller dans chaque sujet. Puis chaque page du sujet. Au passage il faut aussi enregistrer les images (et modifier les chemins). Au final on obtient un dossier avec tout le forum..

Si un groupe souhaite se monter pour bosser là dessus n'hésite pas à vous faire connaître.
Je mettrai mes sources à dispos (php)

Récupèrer les archives

MessagePosté: 28 Novembre 2012, 23:40
par Juste
Chaud

Re: Récupèrer les archives

MessagePosté: 29 Novembre 2012, 15:38
par orienteur51
Ok.. afin que ça soit collaboratif je laisserai un accès ftp limité sur le serveur + une BD opérationnelle

Je vous laisse aller sur la dernière version et réfléchir à un algo

Récupèrer les archives

MessagePosté: 29 Novembre 2012, 18:55
par Juste
Quel est le cahier des charges exactement?
Faut-il (ça serait le mieux) insérer tous les anciens sujets et messages dans la base du forum actuel (dans un sous-forum)?

J'ai pas eu trop le temps de regarder mais est-ce que le graphe des liens semble avoir une grande largeur arborescente?

Je suis chaud pour la conversion pages -> XML propre dont l'arbre représente exactement le forum.
Par contre si on peut repartir le boulot et tu fais XML -> base du forum actuel?

Récupèrer les archives

MessagePosté: 04 Décembre 2012, 09:12
par Juste
Bon à la première analyse ça a l'air réaliste de faire quelque chose qui fonctionne!

Re: Récupèrer les archives

MessagePosté: 02 Janvier 2013, 17:20
par Juste
Bad news, l'archivage est très incomplet, une grande partie des pages n'a pas été visitée par le bot de wayback machine...

Re: Récupèrer les archives

MessagePosté: 12 Juin 2014, 16:37
par orienteur51
Le projet a migré ici : http://www.o-news.fr/projet_conews/index.html
Bonne lecture !