Données en temps réel : réduire le trafic
3.L’analyse des données
Les données n'ont de valeur que lorsqu'elles sont compréhensibles ; sinon, elles ne sont qu'un amalgame d'observations aléatoires. Pour donner un sens aux informations contenues dans les données, il faut combiner l'ingéniosité humaine et des logiciels innovants.
Malgré un monde de plus en plus autonome, il faut encore de la curiosité personnelle, des compétences humaines et un travail intensif pour trouver des réponses dans les données.
Tout d'abord, les données brutes doivent être nettoyées pour être rendues utiles. Selon une estimation, les scientifiques des données peuvent passer de 50 à 80 % de leur temps à préparer des données numériques indisciplinées avant de pouvoir les explorer à la recherche de pépites utiles, aussi appelées insights.
Deuxièmement, il faut de la créativité humaine pour poser les bonnes questions et trouver des réponses en triant et en reconnaissant les mauvaises données et en interprétant les résultats de manière pertinente. Le rôle du data scientist a été décrit comme étant à la fois analyste, artiste et conteur d'histoires. Chaque donnée est comme un pixel sur un écran. Seul, il ne fournit qu'une petite quantité d'informations.
Mais lorsqu'il combine suffisamment de pixels dans le bon ordre, le data scientist peut peindre une image qui vaut mille mots et tirer des données un sens nouveau et parfois inattendu.
En passant les données au crible, les outils d'analyse peuvent aider les utilisateurs à découvrir de nouveaux modèles et tendances, à tirer des enseignements inattendus de données apparemment sans rapport, et à découvrir automatiquement des relations statistiquement intéressantes. Grâce à des bases de données de plus en plus riches et à des algorithmes statistiques de plus en plus perfectionnés, les outils analytiques logiciels nous permettent de passer au crible des montagnes de données pour trouver les pépites d'or de l'information.
Heureusement, les capacités de traitement plus puissantes des ordinateurs d'aujourd'hui, combinées à des logiciels inventifs, permettent aux scientifiques des données de disposer d'outils de pointe pour donner un sens à de vastes quantités de données et révéler les informations précieuses qu'elles contiennent.
Bien que les réseaux actuels soient impressionnants, il est souvent inabordable d'un point de vue économique et impossible d'un point de vue logistique de déplacer d'énormes quantités de données à travers les réseaux vers un seul endroit afin de les traiter toutes en même temps.
Pourtant, certains des moteurs d'analyse les plus puissants d'aujourd'hui sont rendus possibles et abordables grâce à d'énormes plateformes informatiques distribuées en parallèle. Ces plateformes permettent aux utilisateurs d'exécuter des outils d'analyse de données de classe mondiale sur des données stockées à plusieurs endroits en même temps.
Que nous permet de faire cette analyse de données ? Prédire l'avenir semblait autrefois farfelu, mais cela semble aujourd'hui inévitable. Aujourd'hui, grâce à l'analyse moderne des données, nous faisons des prédictions fiables en permanence. Les prévisions météorologiques sont devenues plus fiables, même à 10 jours d'échéance.
Les gestionnaires de flotte peuvent prévoir quels moteurs doivent être réparés avant que la voiture ne tombe en panne. Lorsque les données du présent peuvent être comparées à celles du passé, elles peuvent souvent être utilisées pour prédire l'avenir.
Les économistes trouvent des moyens de mieux prévoir les marchés, l'emploi et l'inflation. Pendant trop longtemps, les données économiques gouvernementales ont obligé les décideurs à regarder dans le rétroviseur. Les statistiques économiques gouvernementales, comme la croissance du PIB, ont toujours regardé des mois en arrière pour nous dire, après un long délai, comment les économies se sont comportées dans le passé et quelles sont les meilleures références pour l'avenir. Aujourd'hui, les économistes combinent diverses données en temps réel, telles que les nouvelles offres d'emploi et les commandes de l'industrie, et les comparent aux données historiques afin de dresser un tableau plus précis de la dynamique actuelle et de formuler de meilleures politiques pour garantir des économies saines.
L'essor de l'analyse des données en temps réel permet également la prise de décision autonome pour nous aider, ou aider les machines que nous dirigeons, à prendre des décisions beaucoup plus rapidement et avec une plus grande précision. D'ores et déjà, les grands constructeurs automobiles américains conçoivent de nouveaux véhicules équipés de centaines de capteurs, de télématique et de connectivité en temps réel pour permettre des avancées telles que le stationnement autonome. Les constructeurs automobiles développent également des outils d'analyse en temps réel qui permettent d'éviter les accidents et de conduire des voitures autonomes. Ces avancées pourraient un jour sauver des vies en réagissant à des situations plus rapidement et de manière plus fiable que les humains.
Face à la croissance exponentielle du volume de données en temps réel sur le monde qui nous entoure, ceux qui sont capables de donner un sens à ce qu'ils apprennent aussi vite qu'ils l'apprennent seront en mesure de maximiser l'impact des outils d'analyse de données. La puissance des meilleurs outils actuels réside dans leur capacité à établir de nouvelles corrélations et à trouver des réponses inattendues enfouies dans les données, même lorsque les gens ne savent pas qu’elles sont les bonnes questions à se poser.
Partout dans le monde, les outils d'analyse trouvent des corrélations significatives et produisent des résultats inattendus. En voici un exemple :
+ En suivant et en corrélant plus de 1 000 points de données par seconde, des chercheurs canadiens ont choqué les médecins en montrant que les enfants nés prématurément dont les signes vitaux étaient anormalement stables présentaient une corrélation avec des fièvres graves le lendemain, ce qui permettait aux médecins de prendre des mesures préventives.
+ Deux décennies d'articles de journaux passés sont utilisées pour prédire quand et où les épidémies de choléra se produiront dans des endroits comme l'Angola.
+ Les services de police ont modifié un algorithme conçu à l'origine pour prédire les tremblements de terre et l'utilisent désormais pour prédire, dans un rayon de 500 pieds, les endroits où les crimes sont susceptibles de se produire. Les cambriolages ont été réduits de 33 % et les crimes violents de 21 % dans les zones où le logiciel est utilisé.
+ Grâce à l'analyse des données et aux capteurs marins qui surveillent les vagues, les courants et d'autres données, les chercheurs utilisent l'analyse des données pour prédire les tsunamis et d'autres catastrophes naturelles ainsi que leur impact.
+ Les données relatives aux visites chez le médecin et aux ordonnances ont révélé que les patients atteints de maladies auto-immunes courent un plus grand risque d'épilepsie.
+ Les données relatives au score de crédit sont utilisées pour prédire quels patients auront besoin de rappels "amicaux" pour prendre leurs médicaments prescrits.
+ En utilisant une décennie de données sur l'historique des vols en corrélation avec les schémas météorologiques, les voyageurs aériens peuvent désormais déterminer quels vols sont les plus susceptibles d'arriver à l'heure.
Les capacités de traitement plus puissantes des ordinateurs d'aujourd'hui, combinées à des logiciels inventifs, permettent aux data scientists de disposer d'outils de pointe pour analyser de grandes quantités de données et en extraire des informations précieuses.