Missão TI: controlar montanha de dados

Informações corporativas crescem de forma exponencial e demandam ferramentas avançadas.

Por Redação da Computerworld-EUA
07 de abril de 2011 - 07h30

A oportunidade de controlar os processos que fazem análise em lote e em tempo real das montanhas de informação existentes na forma de dados não estruturados é, para a área de tecnologia de informação (TI), uma chance de se firmar de vez como agente de negócios. E as ferramentas que estão surgindo para essas finalidades são as que desenham esse cenário para TI. Um dos destaques é a plataforma em código aberto Apache Hadoop.

Especialistas do mercado explicam que as empresas sentem cada vez mais a necessidade de aprimorar a análise das enormes quantidades de dados estocados em bancos de dados paralelos para saber tudo sobre o hábito e a necessidade dos clientes. Isso permite que as companhias trabalhem melhor o planejamento estratégico e a noção de marketing.

A montanha de informações (que os norte-americanos chamam de big data) abrange todas as coletadas nos sistemas computacionais internos, as de transações financeiras e buscas na web, metadados de e-mail, consultas a mecanismos de busca, além de atividades em redes sociais.

De acordo com levantamentos do cientista chefe da empresa de cloud Joyent, Jason Hoffman, somente no ano de 2010 foram gerados 1,5 bilhão de Terabytes em informações do gênero. As companhias, coletivamente, preencheram espaços de armazenamento com cerca de 16 milhões de Terabytes de dados no mesmo ano.
Algumas companhias já estão encontrando maneiras de dissecar os dados com as ferramentas mais modernas. A Barnes & Noble, por exemplo, iniciou a análise de todas as informações possíveis de seus clientes virtuais para deliberar seus comportamentos e fatores determinantes para suas decisões de compras.

Segundo o vice-presidente de retenção de mercados e fidelidade, Marc Parrish, os logs web que indicavam como os usuários estavam utilizando leitores e livros eletrônicos, produziram 35 Terabytes de dados em 2010 e devem gerar mais 20 Terabytes em 2011. “Já tomamos decisões importantes, com o auxílio de ferramentas de análise, sobre os próximos passos da empresa e sobre como lidar com o imaginário do cliente.”

Em outro caso, a rádio norte-americana National Public Radio (NRP) utiliza ferramentas de relatórios para manter controle sobre os conjuntos de dados em constante crescimento e determinar tendências sobre o uso do website. O software utilizado cria logs e métricas, além de capturar dados e índices de outras aplicações, servidores e rede, tudo em um único repositório que pode ser pesquisado.

A NPR estava usando o software de análise web Omniture, mas a analista de métricas da NPR, Sondra Russel, sentiu que a ferramenta não era suficiente para lidar com os volumes de dados em constante crescimento da organização. “Eu só queria saber quantas vezes alguém ouvia a um determinado programa e um período de tempo determinado”, diz Sondra. “Com o Splunkt, nosso novo software, não há mais atrasos entre a aparição dos dados em uma pasta de consulta e a aparição dos mesmos dados em relatórios. Posso ter gráficos de demonstração sem precisar de uma semana de preparação”, conta.

O analista da RedMonk Stephen O´Grady, aponta que o mercado será dos sistemas de gestão de bancos de dados projetados para trabalhar com múltiplos tipos de dados e fontes. Ele afirma que a plataforma Apache Hadoop, por exemplo, já é usada por grandes bancos, empresas de publicidade, além das indústrias de ciências e farmacêutica.

===========================================================
COMENTÁRIOS DO MAURO

Certamente as empresas que baseiam de forma intensiva os seus negócios no volume transacional de dados precisam de feramentas apuradas de análise, entretanto, a grande maioria das empresas, mesmo aquelas que se baseiam no transacional dos dados nas suas operações mas que tem um volume suportável, podem utilizar somente os recursos de gestão dos bancos de dados... o que infelizmente não fazem.

Muitos utilizam os seus servidores de bancos de dados como somente um repositório, e com isso perdem vantagens nas análises dos dados que poderiam fazer toda a diferença competitiva.

Por que fazem isso? Não tenho em mãos nenhuma pesquisa sobre o assunto, mas a minha experiência me diz que é devido a composição de falta de conhecimento sobre os recursos dos bancos de dados aliado a falta de competência na gestão baseada nas análises intensivas de dados.

Temos muito a caminhar nesse sentido.

Mãos e Mentes a Obra!!!

Mauro Cesar
mauro.oliveira@vilelaleite.com.br