Now Reading
Twitter va analyser 100 Milliards de Tweets
0

Twitter va analyser 100 Milliards de Tweets

by twitterman22 février 2010

Twitter

Twitter devrait analyser l’équivalent de de 100 milliards de Tweets, un chiffre proche du nombre de neurones du cerveau humain.

Twitter ne dispose pour l’instant que 10% du chiffre cible (10 milliards), mais la priorité est de savoir le protocole et les objectifs d’une telle analyse, une fois que le chiffre sera atteint.

Que veut Savoir Twitter ?

Twitter souhaite principalement connaitre la réponse à ce type de questions :

  • Combien de requêtes Twitter traite t il par jour ?
  • Quelle est la latence moyenne du service ?
  • Combien de recherches quotidiennes sont effectuées sur Twitter ?
  • Quelle est la répartition géographique desTwittos ? Combien sont t ils ?
  • Que peut ton dire d’un twittos en visualisant uniquement ses tweets ?
  • Qui sont les utilisateurs les plus retweetés ?
  • Qui sont les utilisateurs qui retweete le plus ?
  • Quelle différence entre les utilisateurs mobiles et les autres ?
  • Quelles fonctionnalités sont les plus usitées ?
  • Définition de la T-Reputation des Twittos
  • etc..

Comment vont t ils procéder ?

Twitter utilisera des outils externes pour traiter l’énorme quantité d’informations issue des 100 milliards de Tweets :les outils choisis sont Hadoop et Pig.

Pig permet d’émettre des requêtes complexes en s’appuyant sur Hadoop.

Hadoop permet de stocker des grandes quantités de données avec une structure qui privilégie la performance, point important quand on sait que chaque Tweet dispose de 12 champs avec 3 champs qui disposent de sous champs chacun.

Si vous voulez en savoir plus voici un article technique et détaillé sur la structure technique choisie par Twitter pour stocker ces données volumineuses.

Source: High Scalability

Related Posts Plugin for WordPress, Blogger...
About The Author
twitterman