Récupèrer CONews

Récupèrer CONews

Messagepar orienteur51 » 28 Novembre 2012, 20:03

Bon depuis un bout de temps je dois m'en occuper mais faute de temps je ne peux pas :
Il y a un site super qui s'appelle webarchives (http://archive.org/web/web.php) il scanne le web à des dates différentes. Dedans on retrouve CONews.

L'objectif est de récupérer les dernières versions du forum.
En gros: partir de la racine de chaque sous forum enregistrer chaque page. Pour chaque page : enregistrer la page puis aller dans chaque sujet. Puis chaque page du sujet. Au passage il faut aussi enregistrer les images (et modifier les chemins). Au final on obtient un dossier avec tout le forum..

Si un groupe souhaite se monter pour bosser là dessus n'hésite pas à vous faire connaître.
Je mettrai mes sources à dispos (php)
Habitué au refus de départ en masse au CFC
orienteur51
Administrateur
 
Messages: 991
Inscription: 10 Mai 2012, 20:34

Récupèrer les archives

Messagepar Juste » 28 Novembre 2012, 23:40

Chaud
Avatar de l’utilisateur
Juste
 
Messages: 184
Inscription: 13 Mai 2012, 22:11

Re: Récupèrer les archives

Messagepar orienteur51 » 29 Novembre 2012, 15:38

Ok.. afin que ça soit collaboratif je laisserai un accès ftp limité sur le serveur + une BD opérationnelle

Je vous laisse aller sur la dernière version et réfléchir à un algo
Habitué au refus de départ en masse au CFC
orienteur51
Administrateur
 
Messages: 991
Inscription: 10 Mai 2012, 20:34

Récupèrer les archives

Messagepar Juste » 29 Novembre 2012, 18:55

Quel est le cahier des charges exactement?
Faut-il (ça serait le mieux) insérer tous les anciens sujets et messages dans la base du forum actuel (dans un sous-forum)?

J'ai pas eu trop le temps de regarder mais est-ce que le graphe des liens semble avoir une grande largeur arborescente?

Je suis chaud pour la conversion pages -> XML propre dont l'arbre représente exactement le forum.
Par contre si on peut repartir le boulot et tu fais XML -> base du forum actuel?
Avatar de l’utilisateur
Juste
 
Messages: 184
Inscription: 13 Mai 2012, 22:11

Récupèrer les archives

Messagepar Juste » 04 Décembre 2012, 09:12

Bon à la première analyse ça a l'air réaliste de faire quelque chose qui fonctionne!
Avatar de l’utilisateur
Juste
 
Messages: 184
Inscription: 13 Mai 2012, 22:11

Re: Récupèrer les archives

Messagepar Juste » 02 Janvier 2013, 17:20

Bad news, l'archivage est très incomplet, une grande partie des pages n'a pas été visitée par le bot de wayback machine...
Avatar de l’utilisateur
Juste
 
Messages: 184
Inscription: 13 Mai 2012, 22:11

Re: Récupèrer les archives

Messagepar orienteur51 » 12 Juin 2014, 16:37

Le projet a migré ici : http://www.o-news.fr/projet_conews/index.html
Bonne lecture !
Habitué au refus de départ en masse au CFC
orienteur51
Administrateur
 
Messages: 991
Inscription: 10 Mai 2012, 20:34


Retourner vers News

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 7 invités