All Things Data Science

Vorige week kwam de Leuvense rector, @RikTorfs, met het voorstel om een bindend toelatingsexamen in te richten voor leerlingen uit het beroepsonderwijs of een andere niet-aansluitende richting komen die toch aan de universiteit willen studeren.  De krant Het Laatste Nieuws vat het als volgt samen: Met een toelatingsproef wil de KU Leuven iets veranderen aan het grote aantal mislukkingen bij eerstejaars. "We willen niemand uitsluiten om universitaire studies te volgen en schakelprogramma's blijven bestaan, maar wie beroepsonderwijs volgde heeft in de praktijk weinig kans op slagen aan de universiteit", zei Torfs daarover. Zoals te verwachten was de reactie op dit voorstel massaal en zelden instemmend. Volgens directeur-generaal van het Vlaams Secretariaat van het Katholiek Onderwijs, Mieke Van Hecke,  wordt de indruk gewekt dat de beroeps studierichtingen minderwaardig zijn.  In het Standpunt van De Morgen hekelt @barteeckhout de exclusieve en elitaire visie van ...

As a data scientist I'm always happy when a newspaper spends time in explaining something from the field of Statistics. The Guardian is one of those newspapers that does a very good job at that. @alexbellos often contributes to the Guardian and I must say I often like the stuff he writes. Just recently he wrote a piece entitled " World Cup birthday paradox: footballers born on the same day ", which was taken over by the Belgian quality newspaper De Standaard. The headline there was " Verbazend veel WK-voetballers zijn samen jarig ", which roughly translates to "Surprisingly many Word Cup players share birthdays". Notice already that the headline in De Standaard is less subtle than the one in The Guardian. Alex Bellos starts with explaning what the birthday paradox is: The birthday paradox is the surprising mathematical result that you only need 23 people in order for it to be more likely than not that two of them share the same birthday. He then ...

In Campuskrant (p. 17) van de K.U.Leuven hekelt mijn (vroegere) vakgroepgenoot, de socioloog Bart Meuleman, 'verkiezingspolls'. Dit werd gedeeltelijk ook overgenomen door De Redactie . (Voor een goed begrip en bij wijze van full disclosure: ik heb op het einde van de vorige eeuw een jaar of acht (met veel plezier) gewerkt in de vakgroep methoden van de K.U.Leuven, toen onder leiding van Prof Dr. G. Loosveldt en Prof. Dr. J. Billiet. Ik ken de heer Meuleman dus persoonlijk niet. Verder heb ik daarna 10 jaar gewerkt voor Nielsen, 's werelds grootste marktonderzoeker en een jaar bij iVox een marktonderzoeksbureau gespecialiseerd in online methoden.   Op dit ogenblik adviseer ik bedrijven en organisaties in verband met methodologie, statistiek en Data Science. Noch TNS, noch IPSOS zijn op dit ogenblik klanten van mij en ik ben geen lid van Febelmar ).  Laat ons beginnen met de (forse) openingsquote van het artikel: Ik heb een groot probleem met verkiezingspolls. Als wete...

Op 11 April verscheen in de krant "De Morgen" een artikel met als kop: " Meer moorden in Brussel dan in Londen en Parijs ". Het artikel behandelt het 'Global Study on Homicide 2013'-rapport, gepubliceerd door de Verenigde Naties. De journalist geeft de top 5 weer van de Europese hoofdsteden waarin het meeste aantal moorden gebeuren en zoomt dan in op de plaats van België: Helemaal bovenaan prijkt Tirana (Albanië) met 6,7 moorden per 100.000 inwoners in 2012. Tallinn (Estland), Chisinau (Moldavië), Riga (Letland) en Moskou vervolledigen de top vijf. Brussel staat op de twaalfde plaats Brussel met 2,6 moorden. In West-Europa heeft alleen Luxemburg meer moordgevallen met 3,2 per 100.000 inwoners.   Vooral de laatste zin, waarin een vergelijking wordt gemaakt met Luxemburg, is nogal ongelukkig gekozen. Dries Benoit verwees op Twitter naar een blog post van hem waarin hij, naar aanleiding van "Het Gemeente-Rapport" van Het Nieuwsblad, uitlegt waar...

Op vrijdag 25 Oktober 2013 verscheen er in "De Standaard" een artikel onder de kop "Vluchtelingen moeten het doen met beloftes". Het artikel zelf is prima, het handelt over het probleem van de vluchtelingen in Europa, dat omwille van de ramp voor Lampedusa, hoog op de Europse agenda is geraakt. De grafiek bij het artikel, echter, is niet onmiddellijk een schot in de roos te noemen. Het probleem bij deze grafiek is dat men de oppervlakte van cirkels gebruikt om verhoudingen te vergelijken, en dat is bijzonder moeilijk. Neem bijvoorbeeld het Verenigd Koninkrijk. Ongeveer de helft (14600) van de 28200 asielaanvragen wordt goedgekeurd. De oppervlakte van de rode cirkel is dan ook ongeveer de helft van de blauwe cirkel. Ik heb het eens nagerekend, en het klopt vrij aardig, maar de modale lezer zal allicht niet onmiddellijk aan die verhouding denken. Maar bon, de getallen zelf staan er netjes bij, dus ook al werkt het visueel niet goed, dan heb je toch nog de getallen ...

With the rise of the 'Data Scientist', a lot has been said about the definition, role, qualifications and skills of the Data Scientist, and how to hire them. A somewhat neglected topic is how to manage data scientists. Indeed, data scientists, by their very nature, are hard to manage. They love to resolve problems, but those problems are not always the business problems you want them to tackle. They are ace players, but they're not always the best team players and some of them can sometimes have difficulty in dealing with (higher) management. They can have bright ideas, but they often lose interest when it comes to implementing those ideas in a profit making activity. They will find clever solutions for you, but they don't always excel in making sure that a structured process is place, let alone the administrative follow up that comes with it. Some of them were hired as 'rock-stars' and have developed an ego that goes with that... On the other hand, they are...

Some time a go I captured quite a lot of geo-located tweets for a spatial statistics project I'm doing. The tweets I collected were all confined to be in Belgium. One of the things I looked at was the language of tweets. As you might know, Belgium officially has three languages, Dutch, French and German. Of course, when you analyze a large set of tweets, you can't manually determine the language, on the other hand blindly relying on Twitter's language detection algorithm doesn't feel good either. That's why I set up a little experiment to assess to what extent Twitter's language detection algorithm can be trusted, in the context of  my geo-location project. I stress this because I don't have the ambition to make overall judgments on how Twitter takes care of language detection. First, let's look at the languages as determined by the Twitter language detection algorithm of the 150,000 or so tweets I collected. The barchart below shows the frequency of...