Usenet et les newsgroup : la definition
 
image
image
image




 

Usenet: La définition des newsgroups
Usenet (également connu sous le nom Netnews) est un système en réseau de forums de discussions, inventé en 1979 et basé sur le protocole NNTP. Il a rapidement été rendu utilisable via Internet où il reste aujourd'hui en usage. Certains le trouvent moins simple d'emploi que les forums Web (apparus dans les années 2000) mais il a pour principaux avantages de garantir la pérennité des messages et de permettre une lecture plus rapide (car moins personnalisée et perturbée visuellement). De nos jours, la plupart des nouveaux venus sur Internet découvrent et utilisent Usenet via la rubrique Groups de Google. Habituellement, l'usage (lecture ou écriture) a lieu via un logiciel dit lecteur de nouvelles ou newsreader en anglais.
image

Abonnement ILLIMITE à Usenet pour un mois + Accès WebNews offert

Giganews Newsgroups

Power Usenet Newsgroups

Tutoriaux-Excalibur Fonctionnement Général

Usenet est un ensemble de protocoles servant à générer, stocker et récupérer des « articles » (des messages qui sont proches, dans leur structure, des courriels), et permet l'échange de ces articles entre les membres d'une communauté qui peut être répartie sur une zone potentiellement très étendue. Usenet est organisé autour du principe de groupes de discussion ou groupes de nouvelles (en anglais newsgroups), qui rassemblent chacun des articles (contributions) sur un sujet précis. Les sujets des groupes de discussion sont organisés selon une hiérarchie. Une fois connectés à un serveur informatique fournissant un service Usenet, les utilisateurs peuvent choisir les groupes mis à disposition par ce serveur auxquels ils désirent « s'abonner ». Pour chaque groupe auquel il est abonné, l'utilisateur peut alors voir tous les nouveaux articles mis à disposition sur ce groupe et tous les articles reçus par le serveur depuis un certain temps. Les anciens articles sont automatiquement effacés du serveur ; selon les serveurs, ce délai peut varier entre un mois et quelques jours. Toutefois Google Groups archive les articles de certains groupes de discussion.

Lorsqu'un utilisateur envoie un article sur un serveur Usenet, celui-ci le propage à tous les autres serveurs avec qui il a conclu des accords d'échange d'articles (feeding, littéralement, « alimentation »), et ainsi de suite. Chaque serveur conserve une copie de cet article, et peut ensuite le mettre à disposition des utilisateurs ayant accès à ce serveur.

Les utilisateurs emploient généralement un logiciel client appelé lecteur de nouvelles (parfois aussi appelé client de news, en référence au modèle client-serveur) pour lire et composer des articles Usenet. La plupart des navigateurs Web permettent d'accéder à Usenet, mais ils sont réduits aux fonctions de base, manquant de bien des fonctions orientées spécifiquement vers la lecture d'articles Usenet.


Tutoriaux-Excalibur Les débuts de Usenet

Usenet a été créé en 1979 par un groupe d'étudiants de Caroline du Nord : Tom Truscott, Jim Ellis, Denis Rockwell et Steve Daniel, de Dake, et Steve Bellovin, de Chapel Hill. Il est donc né après le courriel (1972) et après TCP/IP (1973), mais avant le DNS (1983) et bien avant le World Wide Web (1989). Le nom Usenet était une abréviation de Unix User Network ; on le considère aujourd'hui comme un nom propre.

Usenet, à l'origine indépendant, a rapidement été connecté à ARPAnet, le futur Internet. En pratique, aujourd'hui, la totalité du trafic Usenet passe par Internet. Mais certains utilisateurs se plaisent à rappeler que « Usenet n'est pas Internet » et pourrait exister sans.

En 1986, le protocole UUCP, utilisé à l'origine pour le transport des news, a été remplacé par NNTP, conçu spécialement. Dans les deux ans qui ont suivi, le Great Renaming, réorganisation des groupes pour faire face à la croissance et à l'internationalisation du réseau, a donné à Usenet sa structure d'ensemble actuelle.


Tutoriaux-Excalibur Organisation

Depuis cette époque, les groupes sont rangés selon divers critères dans une arborescence. Le nom d'un groupe est formé de plusieurs composantes, séparées par des points ; et chaque composante correspond à un niveau d'arborescence. Il se lit de gauche à droite : par exemple, fr.education.superieur est un groupe francophone, consacré à l'éducation, et plus particulièrement à l'enseignement supérieur. L'ensemble des groupes situés dans une même branche de l'arborescence, c'est-à-dire qui ont des premières composantes identiques, s'appelle une hiérarchie. On utilise souvent le symbole * pour désigner des caractères quelconques : ainsi, on écrit comp.* pour désigner l'ensemble des groupes de la hiérarchie comp.

Chaque serveur peut choisir de diffuser ou non pour ses utilisateurs, et de propager ou non à ses voisins, le contenu de chaque groupe. Le plus souvent, l'administrateur ne choisit pas les groupes un par un, mais sélectionne des hiérarchies entières.

Le cœur d'Usenet est le Big Eight ou Big8, formé des huit principales hiérarchies internationales : comp (ordinateurs), misc (divers), news (fonctionnement des newsgroups), rec (loisirs), sci (sciences), soc (société) et talk (débats), créées lors du Great Renaming, et humanities (lettres, sciences humaines), ajoutée par la suite. Le Big8, à l'exception parfois de la hiérarchie talk, est largement propagé. On y discute principalement mais pas uniquement en anglais.

Il existe deux autres hiérarchies internationales importantes, où les règles — assez strictes — de fonctionnement du Big8 sont assouplies. Sur biz.*, la publicité est autorisée. Sur alt.*, n'importe qui peut créer un groupe, et sur alt.binaries.* il est permis de poster des pièces jointes.

Il y a ensuite un certain nombre de hiérarchies « nationales » Certaines, comme la principale hiérarchie francophone Usenet-fr, correspondent en réalité à une langue et non pas à un pays. Les plus importantes sont presque aussi bien propagées que le Big8.

Enfin, on trouve un grand nombre de hiérarchies mineures, à la propagation assez aléatoire. Il peut s'agir de réseaux de discussion complets et indépendants, d'espaces de discussion mis en place par des entreprises... De nombreux serveurs offrent une hiérarchie locale « privée » qui est parfois propagée à l'extérieur.


Tutoriaux-Excalibur Fonctionnement

Pour lire les news, l'utilisateur utilise un logiciel spécialisé, le lecteur de nouvelles ou newsreader. Celui-ci se connecte à un serveur de nouvelles. Le dialogue avec le serveur utilise le protocole NNTP, décrit dans la RFC 977, et se déroule en général sur le port 119. Une fois connecté, le logiciel peut récupérer la liste des groupes disponibles, la liste des articles d'un groupe (en fait, leurs en-têtes), ou le contenu d'un article donné. Il peut aussi poster des articles, en les envoyant au serveur.

Le format des articles, décrit dans la RFC 1036, ressemble beaucoup à celui des courriers électroniques. Un article commence par des en-têtes de la forme

La plupart des fournisseur d'accès Internet vous offre un serveur NNTP pour accéder a Usenet mais la plupart aussi bloque les groupes binaires ou de type alt.binaries.

Si votre fournisseur d'accès Internet ne vous offre pas la possibilité d'avoir accès aux groupes binaire, il faudra choisir un serveur NNTP d'un fournisseur externe et payant. Il existe plusieurs providers de serveurs Usenet et la plupart sont Américains ou anglophone.

Le seul service en français provient de Bug&Boot car il est localisé en France et est le seul mis a part Free a vous donner un acces complet et illimité aux newsgroup. C'est un excellent complément au server de Free car il vous permet de récupérer les fichiers manquants pour réparer vos archives incomplètes et offre une excellente rétention de 45-60 jours. De plus il vous permet d'être entièrement anonyme et de pouvoir poster (uploader) anonymement sans la signature de votre IP de Free ou de n'importe quel fournisseur d'accès internet.

Abonnement ILLIMITE à Usenet pour un mois + Accès WebNews offert

Il y a un grand nombre d'en-têtes standardisés, pour indiquer l'expéditeur, la date, le sujet, les groupes où publier l'article... Les lecteurs de news les remplissent automatiquement. Il est possible d'ajouter ses propres en-têtes ; le nom du champ doit alors commencer par X-, par exemple X-No-Archive. Suivent une ligne vierge puis le corps de l'article proprement dit.

Le tout doit être en texte brut. Le seul codage du texte brut lisible sur tout Usenet est ASCII. Selon les groupes, il est possible, en l'indiquant dans les en-têtes, d'envoyer des messages codés ISO-8859 sur 8 bits, et en particulier dans les jeux de caractères adaptés aux langues d'Europe de l'Ouest : ISO 8859-1 (latin1) et ISO 8859-15 (latin9). Enfin, dans quelques rares groupes, on peut utiliser Unicode, en général codé en UTF-8.

Chaque article porte un identifiant unique, le Message-Id. C'est la façon principale d'y faire référence. Il faut noter à ce sujet qu'un article n'appartient pas à un groupe particulier. Il est simplement posté sur le réseau, et visible dans les groupes où il est posté d'après ses en-têtes. Cela permet de poster un même article dans plusieurs groupes en ne transportant qu'un seul exemplaire. (Il est bien vu de ne pas abuser de ce procédé, appelé crosspost.)

Le serveur doit ensuite propager l'article.


Tutoriaux-Excalibur Serveurs et propagation

Les premières versions de Usenet utilisaient les logiciels B-News, puis C-News comme logiciels serveurs. Dans les Années 1990, INN fut développé pour tirer avantage de l'architecture d'Internet, qui favorisait un fonctionnement autre que la méthode stocker-faire suivre d'UUCP. Le développement d'INN continue à ce jour, et d'autres serveurs Usenet sont également apparus entre-temps.

Pour mettre en place un serveur de news, il faut tout d'abord se procurer un feed, c'est-à-dire une connexion à un autre serveur (suffisamment important) qui pourra transmettre au nouveau serveur le trafic du reste d'Usenet. Les serveurs voisins se contactent régulièrement pour propager les articles. Schématiquement, ils comparent leurs listes d'articles, et chacun envoie à l'autre ce qu'il est le seul à avoir. Naturellement, les serveurs de news ne conservent et ne propagent que les articles suffisamment récents.

Pour ce qui est des changements dans la structure des groupes elle-même, des articles spéciaux, appelés messages de contrôle, indiquent à chaque serveur les modifications de l'arborescence. Libre à chaque administrateur d'ignorer certains groupes. N'importe qui peut envoyer un message de contrôle, mais les serveurs sont configurés pour n'accepter, pour telle hiérarchie, que les messages signés par telle clé privée de cryptographie asymétrique. Les messages de contrôle « pirates » sont donc ignorés — à moins que l'administrateur du serveur n'en décide autrement.

Le classement des plus gros serveurs de newsgroup est tenu par le site http://www.top1000.org.


Tutoriaux-Excalibur Identification d'un serveur

Reste un dernier point, celui de l'identification d'un serveur, d'un groupe ou d'un message. Comme à peu près tout ce qui est accessible par Internet, ces ressources peuvent être désignées par des « adresses » textuelles, les Universal Resource Identifiers ou URI.

Les adresses concernant Usenet ne sont pas complètement standardisées. La RFC 1738 en définit trois sortes, mais on en trouve d'autres encore.

La syntaxe

news:<nom de groupe>

(par exemple news:fr.sci.maths), permet d'accéder à un groupe donné. Les logiciels qui l'utilisent demandent à l'utilisateur d'indiquer par ailleurs sur quel serveur le rechercher. Le nom de groupe spécial * correspond à la liste des groupes disponibles. Sur le même principe,

news:<Message-Id>

désigne un article précis, toujours sur un serveur quelconque. Il n'y a pas d'ambiguïté car un Message-Id contient toujours le caractère @ ; un nom de groupe jamais.

Enfin,

nntp://<hôte>:<port>/<nom de groupe>/<numéro d'article>

identifie un article précis, dans un groupe précis, sur un serveur donné. On peut omettre les dernières composantes pour désigner un groupe ou un serveur, et le port par défaut est 119. Mais il y a aussi des ports complémentaires qu'il faudra demander a votre fournisseur car le port 119 étant trop utilisé vous ralentira assurément.

Notons que certains sites web permettent de lire les forums usenet largement distribués et d'y poster ; ces sites offrent en général également une fonction d'archive (voir ci-après).


Tutoriaux-Excalibur Archive de discussion

L'ensemble des articles postés sur Usenet n'a pas toujours été archivé. Cependant, de 1995 à 2001, la société Deja.com (devenue DejaNews.com en 1997) effectua un tel travail d'archivage et mit à la disposition des internautes une plateforme de recherche puis d'envoi d'articles. En décembre 2001, le moteur de recherche Google racheta DejaNews.com et sa base d'articles, puis ajouta une archive d'articles remontant jusqu'aux tous débuts de Usenet.[1] Ces archives sont incomplètes, mais néanmoins très fournies. Il est notamment possible d'y retrouver des messages historiques[2], comme l'annonce du World Wide Web faite par Tim Berners Lee dans news:alt.hypertext[3] et l'annonce de Linux faite par Linus Torvalds dans news:comp.os.minix[4]. Il est également possible de lire et de poster des articles à partir du site de Google.


Tutoriaux-Excalibur Transport de fichiers binaires

Usenet a été développé pour distribuer du texte brut utilisant le jeu de caractères 7 bits ASCII. À l'aide de programmes qui codent des données sur 8 bits comme des suites de caractères ASCII, il est possible de transférer par Usenet des fichiers binaires quelconques. En raison de leur taille et de leur légalité parfois douteuse, les articles contenant des fichiers binaires ne sont acceptés que sur des groupes spécifiques, ce qui permet aux administrateurs de serveurs d'accepter ou refuser facilement de les distribuer.

La plus ancienne de ces méthodes de codage est uuencode, initialement développée pour UUCP. À la fin des années 1980, beaucoup de serveurs limitaient la longueur des articles à 60 000 caractères ; et de telles limites existent toujours, même si elles sont généralement plus élevées. Pour cette raison, les données d'un fichier sont réparties en différents articles et doivent être réassemblées par le lecteur de nouvelles.

Il arrive que certaines parties d'un fichier ne soient plus téléchargeables (en effet les serveurs ne gardent les messages binaires que quelques jours) ou bien que certaines parties soient erronées. Pour palier ce problème, on rencontre souvent des fichiers PAR qui sont des données supplémentaires à télécharger et permettent de reconstruire les parties manquantes. En règle générale les fichiers PAR font 10% de la taille totale du fichier à télécharger.

Avec les extensions du format des articles (Base64, « Quoted-Printable », MIME) sont apparues de nouvelles possibilités pour le transport de contenus binaires. En pratique, MIME est de plus en plus utilisé dans les messages, mais guère pour transmettre des pièces jointes binaires. Par ailleurs, certains systèmes d'exploitation qui associent aux fichiers des informations auxiliaires (métadonnées) nécessitent des formats spéciaux. Mac OS utilise par exemple Binhex et des types MIME spécifiques.

Pour mieux utiliser les capacités du réseau Usenet et augmenter la vitesse de transfert, la procédure de codage yEnc a été mise au point en 2001. Elle utilise moins d'espace que les codages usuels en supposant que la plupart des caractères 8 bits peuvent être transmis correctement.


Tutoriaux-Excalibur Les logiciels

Les fichiers binaires déposés sur les newsgroups étant découpés en plusieurs parties (multi-parties), il faut les réassembler une fois tous les téléchargements terminés. Des logiciels sont apparus afin de faciliter et d'accelérer le téléchargement mais aussi de l'interrompre pour le reprendre plus tard. Beaucoup d'autres options sont disponibles et varient selon les programmes.

Voici la liste des logiciels les plus connus qui vous permettront de télécharger du réseau Usenet:

Système d'Exploitation Windows

* Grabit
* Naja
* NZB-O-Matic
* BNR
* Xnews
* Newsbin
* Newsleecher
* KLibido
* PowerPost
* MesNews
* Newsforums.org

Système d'exploitation Linux

* Pan news reader

Système d'exploitation Mac

* Hogwasher
*NewsHunter3


Tutoriaux-Excalibur Pour terminer

Usenet n'est pas internet, c'est une autre forme de diffusion mais binaire

Source Encyclopédie Wikidia

Grande nouvelle: Voici la relève qui détronera Binnewz une fois pour toute. Je vous présente les nouveaux partenaires d'Excalibur. Le meilleur du référencement des newsgroup Newsgroup for you et le moteur de recherche iliatou. Un excellent complément à Bug&Boot et Excalibur