estamos publicando uma série sobre um relatório da mcKinsey que aponta as dez principais tendências tecnológicas nos negócios nesta década. as tres primeiras [criação colaborativa, negócio = rede, colaboração em escala] apareceram no post inicial, neste link. no texto anterior, neste link, falamos da “internet das coisas”. os slides usados nos textos são de uma palestra do autor na CNI, em são paulo, cuja íntegra está neste link.
hoje vamos falar do que a mcKinsey chamou de “big data” e suas consequências para os negócios.
a idéia básica está no slide acima: o volume de dados nas empresas já é muito grande e dobra a cada 18 meses em média. isso quer dizer que os negócios estão debaixo de um verdadeiro dilúvio digital, o que pode ser exemplificado pela situação no wal-mart: os clientes do maior varejista do mundo são responsáveis por um milhão de transações por hora, que resultam em 2.5 petabytes de dados a cada 60 minutos, o equivalente a nada menos que 167 vezes a informação armazenada na biblioteca do congresso americano, principal repositório mundial de conhecimento clássico, aquele armazenado em livros e filmes. se bem que a LoC tem um projeto para armazenar todo o timeline do twitter…
e isso é só parte do cenário. quase todo negócio competente, hoje, coleta dados em quantidade e qualidade que só os censos constumavam fazer no passado, e faz isso por mes, semana ou, em casos como o do wal-mart e seus competidores, por dia ou hora. o blog passou pelo assunto em março passado, aqui neste link, discutindo o especial do economist “data, data everywhere”, que trata da explosão combinatória de dados no planeta e não só nos negócios.
quer ter uma ideia do tamanho do problema? o sloan digital sky survey, quando começou a operar um telescópio de 120 megapixel no novo méxico em 2000, coletou nas primeiras semanas de trabalho um volume de dados maior do que em toda a história da astronomia até então. abaixo, a nebulosa de orion em muito baixa resolução; clique para ver em mais detalhe no site do projeto.
mas a SDSS está coletando dados que podem levar anos para serem processados; nos negócios, estamos observando uma tendência de tratamento e uso “big data” em tempo quase real, com cadeias de varejo coletando dados de compras [no caixa, no site] ou de visualizações [no site] e compra [no site da competição, por exemplo] para redesenhar ofertas, inclusive modificando os produtos ofertados, quase que imediatamente.
a existência de “big data” na intensidade em que vemos nos negócios, nos últimos anos, cria a possibilidade de exercitar um dos princípios de deming: “nós acreditamos em deus; todos os outros devem trazer dados”. medir e processar para entender e melhorar performance é o que está por trás de tal linha de raciocínio. esta é a possibilidade criada pela existência de “big data” e experimentação barata, baseada em computação de muito grande porte e testes reais, que fornecem mais dados e mais possibilidades de processamento e aquisição de informação e conhecimento.
mas já que falamos em deming, é bom lembrar que ele considerava a administração baseada somente em dados um dos sete pecados capitais das organizações. segundo deming, há aspectos importantes dos negócios que são desconhecidos e, pior, impossíveis de serem conhecidos, por mais dados e processamento que se tenha.
e isso é bom: quer dizer que intuição, imaginação e invenção continuarão sendo importantes para tocar negócios no presente e no futuro… e que seres humanos, nas organizações, ainda são essenciais. pelo menos até que “big data” e seu processamento em muito larga escala comecem a não só calcular possíveis futuros mas, também, a imaginá-los…
