O que "Big Data" não pode fazer

Às vezes, chamado "a internet das coisas", chegou o Big Data. Ele irá "substituir idéias, paradigmas, organizações e maneiras de pensar sobre o mundo", disse o professor Brynjolfsson, diretor do Centro de Negócios Digitais do MIT em uma conferência recente. Bem, talvez. Mas vale a pena pensar sobre o que não pode ser capaz de fazer.

Como Steve Lohr colocou em sua revisão de fim de ano do campo no The New York Times, tais afirmações dependem "na premissa de que dados como trilhas de navegação na Web, sinais de sensores, rastreamento de GPS e mensagens de rede social abrirão a porta para medindo e monitorando pessoas e máquinas como nunca antes. "Algoritmos de computador, usando esses dados, nos permitirão" prever comportamentos de todos os tipos: compras, namoro e votação, por exemplo ".

Tudo isso é verdade, e vemos isso no trabalho, já que a internet já rastreia todas as pesquisas que fazemos em nossos computadores. Não podemos escapar de inúmeras sugestões e sugestões sobre o que mais gostaríamos de comprar. Nada é esquecido ou ignorado. E esses são os sinais mais detectáveis ​​de como estamos sendo rastreados.

Mas, como afirma Lohr, tais previsões são baseadas em modelos matemáticos e nossos modelos são feitos pela inteligência humana. Uma vez configurado, os modelos reduzem os dados de forma rápida e eficiente, mas, sendo inventados pelos humanos, eles mesmos não são apenas falíveis, mas também são vulneráveis ​​ao uso indevido.

Foi dada muita atenção à invasão de privacidade inerente a tais modelos. O que estamos inadvertidamente revelando sobre nós mesmos? E quem usará essa informação para nos manipular e controlar? Está acontecendo agora, é claro, mas isso só piorará. E como saberemos?

Um perigo de outro tipo é a falta de sofisticação e precisão nos modelos utilizados. Os bons programas requerem habilidades de matemática e informática, mas também a capacidade de ser inovador e pensativo. Lohr observa que o McKinsey Global Institute projetou que os EUA precisariam de 140.000 a 190.000 trabalhadores mais com "conhecimentos analíticos profundos". Ele cita Claudia Perlich, cientista em chefe de uma startup on-line em Nova York: "Não podemos aumentar as habilidades rapidamente suficiente."

Não são apenas as habilidades de computador e matemática que são necessárias. Lohr observa: "Ouvir os dados é importante, mas também a experiência e a intuição. Afinal, o que é a intuição no seu melhor, mas grandes quantidades de dados de todos os tipos filtrados através de um cérebro humano em vez de um modelo de matemática? "(Veja," Claro, Big Data Is Great. But So Intuition ").

Para ser claro, isso inclui as informações inconscientes às quais somos desatentos, porque às vezes parece irrelevante, às vezes sem moda e às vezes indesejável. O fato é que muitas vezes é precisamente essa informação – não procurada, inesperada, talvez até difícil de aceitar ou entender – que revela o que mais freqüentemente precisamos saber.

Na recente conferência do MIT, Lohr informou que um painel perguntou sobre grandes falhas no Big Data que não poderia apresentar exemplos. Mais tarde, no entanto, alguém na audiência comentou que Big Data não conseguiu prever a crise de crédito e crise financeira de 2008. Oh!

Será que o espectro de seu potencial leva seus adeptos a negligenciar ou minimizar o fator humano? Big Data torna as pessoas mais confiantes ou presunçosas? Em caso afirmativo, esse é apenas o tipo de problema que o Big Data não pode resolver?