Implantação de Big Data: uma aplicação no E-commerce

PROPOSTA DE UM FRAMEWORK DE IMPLANTAÇÃO DE BIG DATA NAS PEQUENAS E MÉDIAS EMPRESAS: UMA APLICAÇÃO NO COMÉRCIO ELETRÔNICO VAREJISTA BRASILEIRO

 

No ano de 2014, enquanto selecionava a universidade pela qual gostaria de cumprir com o objetivo de cursar o mestrado acadêmico em administração, um dos critérios era a aceitação da temática que queria abordar: Big Data em Pequenas e Médias Empresas. Não só isso, Big Data em empresas do comércio eletrônico, setor no qual atuo desde 2008. Digo isso pois, por experiência própria, não é muito comum concordarem com o desejo de propor uma solução para um problema percebido no mercado em um projeto de dissertação.

 

A vontade de trabalhar com Big Data nasceu ao ouvir falar do assunto em eventos de E-commerce, tema que começou a ser amplamente discutido em 2011. Por ser extremamente pragmático e fã de dados, obviamente Big Data me fascinou, e ao longo dos anos o que percebi no mercado foi: ouve-se falar muito sobre o assunto, porém, praticamente não se vê metodologia de como fazer. Isso afasta, portanto, as pequenas e médias empresas deste meio, já que parece inacessível a elas, inviável de ser explorado. Percebi um “gap” aí e decidi tentar explorar, pois para mim, é muito claro que este paradigma poderia ser quebrado, o que ajudaria também a diminuir a desigualdade do mercado do E-commerce.

 

O objetivo foi audacioso pois, parti do nível de conhecimento zero, e após dois anos e meio de pesquisa, consegui descrever por completo um exemplo de um modelo aplicável de implantação. A intenção do projeto foi sair um pouco do campo das ideias, dos porquês, da demonstração dos resultados quase surreais em grandes empresas e/ou instituições governamentais, e trazer algo palpável para mim ou para você.

Desta forma, o que você irá encontrar a seguir é resumo do trabalho que foi desenvolvido, que inclui:

  • Por quê comércio eletrônico? Problema identificado.
  • Objetivo do projeto: o que é necessário para implantar Big Data e como fazê-lo?
  • O framework: passo a passo para implantar um projeto de Big Data
  • A quem este projeto pode ajudar?
  • Limitações e Considerações Finais
  • Download do Material

Acredita-se que o framework desenvolvido tem potencial para atingir, ao menos em termos de receita, mais de 30% do mercado de e-commerce no Brasil. Estas informações podem ser encontradas em detalhes na pesquisa realizada, e a mesma poderá ser adquirida no final desta publicação.

 

Por quê comércio eletrônico? Problema identificado.

 

Desde o início das vendas on-line, nos anos 90, que enxerga-se o comércio eletrônico como um mercado promissor. No Brasil, de acordo com E-bit (2016), a taxa composta anual de crescimento média (CAGR) foi de 37% entre 2001 e 2015. Um dos poucos segmentos no país que cresceu (8%) mesmo no ano de 2016 (REDAÇÃO E-COMMERCE BRASIL, 2017), em plena crise, segundo a última projeção de CAGR (de 2013 a 2018) o Brasil é o 4º lugar em vendas por comércio eletrônico, com média de 13,6%, 2,9% acima da média mundial (THE PAPERS, 2015).

Apesar desses dados positivos, como profissional da área de e-commerce, tinha a percepção de que o setor era bastante desigual, e isto foi explorado. Ao final das pesquisas, chegou-se a números que comprovaram tal sentimento: em 2014, mais de 85% faturamento ficou concentrado em 50 grandes empresas, ou seja, apenas 0,011% da quantidade de lojas virtuais existentes no Brasil (estimadas em 450 mil na época). Os cálculos são evidenciados no projeto.

E para explicar isso, algumas hipóteses foram levantadas:

  • Falta de acompanhamento de dados de negócio, principalmente nas pequenas e médias empresas, demonstrada pela pesquisa Sebrae (2016);
  • Inexistência de fontes que indique que o setor ecommerce, realiza a coleta e armazenamento de dados, aproveitando ao máximo o volume e a variedade que pode-se obter, e com a velocidade necessária para tal;
  • Falta de conhecimento sobre o Big Data como forma possível para tratar-se das questões levantadas;
  • Desconhecimento dos benefícios de se tangibilizar economicamente o valor dos dados (Infonomics) (LANEY, 2012)

Claro que você pode se perguntar: mas se os dados demonstram que as PME’s não fazem o correto acompanhamento nem de KPIs (Indicadores Chave de Performance) básicas, por quê trabalhar com Big Data?

E aí está um dos paradigmas a serem quebrados, a desmistificação de que, por este motivo, não é viável falar de Big Data para PME’s. Acredito que uma coisa não exclui a outra, há boas instituições lidando com a falta de acompanhamento sobre as KPI’s básicas dos negócios. Entendo ainda que isso faz parte da maturidade do mercado assim como da própria empresa. Porém, o que não se encontra por aí é a resposta para: quem pode apoiar pequenas e médias empresas a começarem a navegar no universo do Big Data, de forma prática e real, e por quê razão elas devem atentar-se para isso?

 

Objetivo do projeto: o que é necessário para implantar Big Data e como fazê-lo?

 

A escolha da aplicação no meio do E-commerce não foi por acaso: além da experiência profissional nesta área, enxerga-se que setores acostumados a lidar com tecnologia são mais propensos e suscetíveis ao Big Data. Assim são as startups tecnológicas, e assim são as lojas virtuais, dois ambientes bastante competitivos e com maior abertura a criatividade, flexibilidade e inovação.

O comércio eletrônico, assim como todo negócio online, está imerso a uma enorme base de dados que podem ser explorados a seu favor. Entende-se que trabalhar com tais dados, oferece as empresas mais subsídios e insights para as tomadas de decisão, o que desenvolve o negócio e pode diminuir a desigualdade, além de tornar as empresas mais competitivas frente até a lojas virtuais estrangeiras que atuam no Brasil.

Então, como permitir que as PMEs coletem, armazenem e utilizem essa grande massa de dados estruturados e não estruturados disponível em torno de seus negócios e que pode servir como suporte para os processos de tomada de decisão foi a pergunta levantada no projeto. E para responder, a melhor solução é sem dúvidas a implantação de projetos de Big Data.

Portanto, o que o trabalho visa responder é: “Qual é a sequência de processos necessários para que as PMEs possam implantar projetos de Big Data e como fazê-lo?

 

O framework: passo a passo para implantar um projeto de Big Data

 

Uma das premissas para implantar um projeto de Big Data é definir um objetivo. Isso porque Big Data não é algo pronto, igual para todo projeto. A maneira como se dará um projeto de Big Data é oriunda do problema que deseja solucionar-se com ele, assim como suas limitações. Nesta obra, o problema definido foi: como coletar os dados desestruturados das redes sociais, Twitter e Facebook, em tempo “quase real”, e trabalha-los para que os mesmos se tornem insights que dêem mais informações a respeito de seus negócios?

Pode-se dizer que o projeto desenvolvido consiste em um “tutorial”, ou seja, um guia prático, que demonstra um exemplo de implantação de Big Data voltado para o monitoramento (coleta e processamento de dados armazenados) das redes sociais mencionadas. Os dados extraídos podem ser visualizados e trabalhados em ferramentas comuns, tais como o Excel, e outras de código aberto de Visual Analytics e Business Intelligence.

O passo a passo utilizado está descrito abaixo, e a metodologia utilizada foi a Design Science:

  1. A implantação do Hadoop a uma instância AWS (serviço de computação na nuvem, da Amazon).
  2. A instalação do Hadoop e do Cloudera Manager.
  3. O registro no ambiente de aplicação do Twitter.
  4. A configuração do Flume.
  5. A instalação do MySQL e configuração do Hive.
  6. A configuração do workflow Oozie.
  7. O streaming do Twitter: acesso em tempo real.
  8. A Conectividade ODBC (Open Database Connectivity) para com o Hive e queries básicas para o HQL (Hibernate Query Language).
  9. O streaming do Facebook e análise de sentimentos.

 

Workflow Artefato Big Data

Framework de Implantação de Big Data

 

A quem este projeto pode ajudar?

 

Este projeto teve como foco três públicos distintos: os gestores das empresas, os profissionais técnicos, e a comunidade acadêmica. A seguir, apresenta-se como a leitura deste trabalho poderá contribuir para você.

 

Gestores de Empresas:

 

Como descrito no início deste artigo, os resultados desta pesquisa podem apoiar mais de 30% do mercado de E-Commerce no Brasil (números demonstrados no projeto), visto que este é um dos critérios de recorte que favorecem a viabilidade de projetos de Big Data.

Por meio deste trabalho o gestor poderá:

  • Conhecer gratuitamente mais a respeito do tema Big Data, pois as referências são oriundas das melhores publicações sobre o assunto;
  • Enxergar como o Big Data impacta o mundo dos negócios, de maneira global;
  • Perceber o que o seu segmento de atuação e/ou empresa sofre ou poderá sofrer em decorrer do Big Data;
  • O que fazer para adentrar neste universo, e explora-lo a fim de torna-lo mais competitivo;

O conteúdo encontrado é composto por:

  • Conceituando o Big Data: Definição; Velocidade; Volume; Variedade; Veracidade; Valor; Na Prática; Confusão; Correlação.
  • Tecnologias para o Big Data: Sofre as tecnologias; Integração das Tecnologias; Hadoop, MapReduce e HDFS; Outras tecnologias do ambiente Hadoop; Como desenvolver um projeto em Hadoop.
  • Recursos Humanos e Cultura
  • Definição de Estratégia
  • Riscos e Controle

 

Profissional Técnico:

 

Aqueles que atuam diretamente na tecnologia da informação e que ainda não tem tanto conhecimento a respeito do assunto, as informações expostas acima podem ser de grande relevância. Todavia, acredita-se que a maior contribuição para este profissional, é a descrição passo a passo, do que foi feito, para que fosse possível atingir o resultado esperado. São mais de 70 páginas, apresentadas no apêndice B do projeto de dissertação, que detalham o que foi feito para que o framework funcionasse.

 

Comunidade Acadêmica:

 

A utilização da metodologia do Design Science em projetos de dissertação na administração é, certamente, uma contribuição para a área. Além disso, não encontrou-se trabalhos no Brasil que tratam sobre o assunto de forma prática, portanto, inicia-se a discussão de Big Data também na academia. Contudo, entende-se que a principal contribuição é promoção da desmistificação de que projetos de Big Data são aplicáveis somente em grandes empresas.

 

Limitações e Considerações Finais:

 

Durante a fase de avaliação, devido às restrições de tempo impostas para o término do trabalho, não foi possível a aplicação da metodologia Delphi, que validaria o artefato junto a profissionais do mercado, o que fundamentaria ainda mais o projeto.

Todo o framework apresentado foi baseado em aplicações reais do mercado, apoiando-se em projetos que tiveram sucesso para a sua elaboração, além dos materiais oficiais de cada uma das ferramentas. Notou-se um dinamismo muito grande no que tange as mudanças ferramentais, tendo em vista que as várias ferramentas são constantemente atualizadas. Outro ponto importante é que o ambiente de aplicação impacta diretamente na maneira como aplica-se os diversos recursos apresentados, sendo que é preciso flexibilidade e resiliência para buscar soluções nestas situações.

Apesar de tudo isso, ressalta-se que o framework foi elaborado com sólidas bases de conhecimento e passou rigoroso controle, conforme rege o método de Design Science Research, e foi aplicado pelo pesquisador em ambiente de homologação com sucesso. Sendo assim, entende-se que os fatores limitantes apresentados não retiram o valor do projeto.

Entende-se que o presente projeto tem melhor adequação e pode apoiar empresas que se adequem aos critérios expostos abaixo:

  • Receita Bruta: Empresa de pequeno porte: superior a R$ 360.000,00 ao ano, podendo atingir até R$ 3.600.000,00 (PRESIDÊNCIA DA REPÚBLICA CASA CIVIL, 2006). Empresa de médio porte: superior a R$ 3.600.000,00 e inferior a R$ 12.000.000,01.
  • Quantidade de funcionários (Sebrae, 2016): Empresa de pequeno porte: de 10 a 49 empregados. Empresa de médio porte: de 50 a 99 colaboradores.

O objetivo deste trabalho é dar um norte, servir de referência inicial para quem sempre desejou sair do mundo das ideias a respeito do Big Data, e partir para a prática mas não sabia como ou por onde começar. Espera-se dos profissionais técnicos conhecimentos prévios e/ou vontade de pesquisar e aprender. Porém, não deve-se supor que ao final da leitura ou mesmo aplicação do modelo apresentado, o profissional seja um “Cientista de Dados”, por exemplo. É apenas, um começo, um início concreto junto ao mundo do Big Data. Além disso, por questões de disponibilidade, não pretende-se dar manutenção a este projeto, principalmente devido ao dinamismo das mudanças das ferramentas e as variações dos ambientes de aplicação.

 

Download do Material

 

Para facilitar, são duas as possibilidades de download:

  1. Para aqueles que querem apenas ter acesso ao guia que propõe o framework de implantação de Big Data nas pequenas e médias empresas do comércio eletrônico varejista brasileiro.
  2. Para aqueles que desejam ter acesso a todo o trabalho, que inclui o tutorial acima mencionado e todo o referencial teórico.

Para realizar download de ambos os materiais, basta preencher o formulário abaixo, você receberá o mesmo por e-mail. Este formulário servirá para a construção de uma nova pesquisa, que irá apoiar o mercado do comércio eletrônico brasileiro no que tange o nível da gestão da informação, e será compartilhado com todos no futuro. Prometo não utilizar os dados coletados para enviar SPAM, propaganda, curso, produto ou qualquer outra coisa do tipo, afinal, não é este meu propósito.

 

Espero que gostem do trabalho, que seja útil para vocês, e ENJOY!

 

 

Referências:

E-BIT. Webshoppers 33ª edição 2016. Buscapé Company, 2016. Disponível em: < http://www.ebit.com.br/webshoppers>.

LANEY, Doug. Infonomics: The Practice of Information Economics. Mai. 2012. Disponível em: < https://www.forbes.com/sites/gartnergroup/2012/05/22/infonomics-the-practice-of-information-economics/#3c4b6b256ee4>. Acesso em: 01 de ago. 2016.

PRESIDÊNCIA DA REPÚBLICA CASA CIVIL. Lei complementar nº 123, de 14 de dezembro de 2006. 2006. Acesso em 10 de set. 2016. Disponível em: <http://www.planalto.gov.br/ccivil_03/leis/LCP/Lcp123.htm>.

REDAÇÃO E-COMMERCE BRASIL. E-commerce brasileiro deve crescer até 15% em 2017. Jan. 2017. Disponível em: <https://www.ecommercebrasil.com.br/noticias/e-commerce-brasileiro-crescer-15-2017/>. Acesso em: 23 de jun. 2017.

SEBRAE. 3ª Pesquisa Nacional do Varejo Online. 2016.

THE PAPERS. Cross-border ecommerce report: Critical facts and insights for international expansion – Update 2015. CBEC, 2015.