Crisis in wetenschap door machine learning

Dr Genevera Allen van de universiteit in Houston gaf recent aan dat het toenemende gebruik van systemen en algorithmes die grote datasets analyseren resulteren in een crisis in de wetenschap. Als de wetenschap hun onderzoektechniek niet verbeteren en beter omgaan met de beperkingen van software dan verspilt de wetenschap waardevolle tijd en veel geld. Deze uitspraak deed ze op basis van haar eigen onderzoek wat zij presenteerde aan de American Association for the Advancement of Science in Washington.

Machine-learning techniques used by thousands of scientists to analyse data are producing results that are misleading and often completely wrong.

De wetenschap omarmt de grote en dure datasets om vervolgens met zogenaamde slimme software analyses te maken. Niets aan de hand zou je denken. Maar juist deze software is niet goed genoeg en kent haar beperkingen waarvan de wetenschappers onvoldoende op de hoogte te zijn. Het blijkt uit onderzoek dat er sprake is van een zogenaamd reproducibility crisis. Het betekent dat als wetenschappers precies hetzelfde experiment uitvoeren dat dan de uitkomsten niet gelijk zijn.

the answers they come up with are likely to be inaccurate or wrong because the software is identifying patterns that exist only in that data set and not the real world. The “reproducibility crisis” in science refers to the alarming number of research results that are not repeated when another group of scientists tries the same experiment. It means that the initial results were wrong. One analysis suggested that up to 85% of all biomedical research carried out in the world is wasted effort (bron BBC, februari 2019)

De crisis heeft zich gevormd in de afgelopen twintig jaar waarin is gebleken dat wetenschappers zich onvoldoende bewust zijn van dit aspect aldus Dr. Genevera Allen. Ze zal zich niet populair maken met deze opmerkingen maar wij vanuit Extend Limits die veelvuldig vanuit ons vakgebied spreken met wetenschappers en rapporten lezen kijken niet op van deze conclusie.

Uiteraard is Dr. Genervera Allen bezig met een oplossing.

She is developing the next generation of machine learning and statistical techniques that can not only sift through large amounts of data to make discoveries, but also report how uncertain their results are and their likely reproducibility.

“Collecting these huge data sets is incredibly expensive. And I tell the scientists that I work with that it might take you longer to get published, but in the end your results are going to stand the test of time.

“It will save scientists money and it's also important to advance science by not going down all of these wrong possible directions (bron BBC, februari 2019)