O que é Data Mining?

Data mining não é uma nova invenção que veio com a era digital. O conceito já existe há mais de um século, mas surgiu com maior incidência pública na década de 1930. Um dos primeiros casos de mineração de dados ocorreu em 1936, quando Alan Turing introduziu a ideia de uma máquina universal que pudesse efectuar cálculos semelhantes aos dos computadores modernos.

Percorremos um longo caminho desde então. As empresas estão agora a aproveitar a mineração de dados e a aprendizagem de máquinas para melhorar tudo, desde os seus processos de venda até à interpretação financeira para fins de investimento. Como resultado, os cientistas de dados tornaram-se vitais para organizações em todo o mundo à medida que as empresas procuram alcançar objectivos maiores do que nunca com a ciência dos dados.

A mineração de dados é o processo de análise de volumes massivos de dados para descobrir a inteligência empresarial que ajuda as empresas a resolver problemas, mitigar riscos, e aproveitar novas oportunidades. Este ramo da ciência de dados deriva o seu nome das semelhanças entre a procura de informação valiosa numa grande base de dados e a exploração de uma montanha de minério. Ambos os processos requerem a pesquisa de enormes quantidades de material para encontrar valor escondido.

A mineração de dados pode responder a questões empresariais que tradicionalmente consumiam demasiado tempo para serem resolvidas manualmente. Utilizando uma gama de técnicas estatísticas para analisar dados de diferentes maneiras, os utilizadores podem identificar padrões, tendências e relações que, de outra forma, poderiam falhar. Podem aplicar estes resultados para prever o que é provável que aconteça no futuro e tomar medidas para influenciar os resultados do negócio.

Data mining é utilizado em muitas áreas de negócios e investigação, incluindo vendas e marketing, desenvolvimento de produtos, cuidados de saúde, e educação. Quando usado correctamente, a mineração de dados pode proporcionar uma vantagem profunda sobre os concorrentes, permitindo-lhe aprender mais sobre os clientes, desenvolver estratégias de marketing eficazes, aumentar as receitas e diminuir os custos.

Conceitos-chave de mineração de dados

Atingir os melhores resultados da mineração de dados requer uma série de ferramentas e técnicas. Algumas das funções mais comummente utilizadas incluem:

• p>p> Limpeza e preparação de dados – Uma etapa na qual os dados são transformados numa forma adequada para posterior análise e processamento, como a identificação e remoção de erros e dados em falta.

• p> Inteligência artificial (IA) – Estes sistemas realizam actividades analíticas associadas à inteligência humana, tais como planeamento, aprendizagem, raciocínio, e resolução de problemas.

• p> Aprendizagem de regras de associação – Estas ferramentas, também conhecidas como análise de cestos de mercado, procuram relações entre variáveis de um conjunto de dados, tais como determinar quais os produtos que são tipicamente adquiridos em conjunto.

• p>Clustering – Um processo de divisão de um conjunto de dados num conjunto de subclasses significativas, chamadas clusters, para ajudar os utilizadores a compreender o agrupamento ou estrutura natural nos dados.

• Classificação – Esta técnica atribui itens num conjunto de dados a categorias ou classes alvo com o objectivo de prever com precisão a classe alvo para cada caso nos dados.

>li>p> Análise de dados – O processo de avaliação da informação digital em business intelligence útil.

>li>p>Armazenamento de dados – Uma grande colecção de dados empresariais utilizados para ajudar uma organização a tomar decisões. É a componente fundamental da maioria dos esforços de mineração de dados em grande escala.

• Aprendizagem de máquinas – Uma técnica de programação de computadores que utiliza probabilidades estatísticas para dar aos computadores a capacidade de “aprender” sem ser explicitamente programada.

p>Regressão – Uma técnica utilizada para prever uma gama de valores numéricos, tais como vendas, temperaturas, ou preços de acções, com base num conjunto particular de dados.

Vantagens da Exploração de Dados

Os dados estão a ser introduzidos nas empresas numa multiplicidade de formatos a velocidades e volumes sem precedentes. Ser um negócio impulsionado por dados já não é uma opção; o sucesso do negócio depende da rapidez com que se consegue descobrir os conhecimentos a partir de grandes dados e incorporá-los nas decisões e processos empresariais, conduzindo a melhores acções em toda a sua empresa. Contudo, com tantos dados para gerir, isto pode parecer uma tarefa intransponível.

A prospecção de dados permite às empresas optimizar o futuro através da compreensão do passado e do presente, e fazer previsões precisas sobre o que é provável que aconteça a seguir.

Por exemplo, a prospecção de dados pode dizer-lhe quais os clientes potenciais que são susceptíveis de se tornarem clientes rentáveis com base em perfis de clientes passados, e quais os que são mais susceptíveis de responder a uma oferta específica. Com este conhecimento, pode aumentar o seu retorno do investimento (ROI) fazendo a sua oferta apenas àqueles potenciais clientes com probabilidade de responder e tornar-se clientes valiosos.

P>Pode utilizar a prospecção de dados para resolver quase todos os problemas comerciais que envolvam dados, incluindo:

• Aumentar as receitas.
• Compreender segmentos e preferências dos clientes.
• Aquisição de novos clientes.
• Melhorar as vendas cruzadas e up-selling.
• Reter clientes e aumentar a lealdade.
• Aumentar o ROI das campanhas de marketing.
• Detectar a fraude.
• Identificar riscos de crédito.
• Monitorizar o desempenho operacional.

Por meio da aplicação de técnicas de mineração de dados, as decisões podem ser baseadas em inteligência empresarial real – em vez de reacções instintivas ou intestinais – e fornecer resultados consistentes que mantêm os negócios à frente da concorrência.

As tecnologias de processamento de dados em larga escala, tais como a aprendizagem de máquinas e a inteligência artificial, tornam-se mais facilmente acessíveis, as empresas são agora capazes de pesquisar terabytes de dados em minutos ou horas, em vez de dias ou semanas, ajudando-as a inovar e a crescer mais rapidamente.

Como funciona a mineração de dados

Um projecto típico de mineração de dados começa com a colocação da questão empresarial certa, a recolha dos dados certos para a responder, e a preparação dos dados para análise. O sucesso nas fases posteriores depende do que ocorre nas fases anteriores. A má qualidade dos dados conduzirá a resultados fracos, razão pela qual os mineiros de dados devem assegurar a qualidade dos dados que utilizam como entrada para análise.

Os profissionais de mineração de dados normalmente obtêm resultados atempados e fiáveis seguindo um processo estruturado e repetível que envolve estas seis etapas:

1. Compreensão empresarial – Desenvolver uma compreensão profunda dos parâmetros do projecto, incluindo a situação empresarial actual, o objectivo empresarial principal do projecto, e os critérios de sucesso.
2. Compreensão dos dados – Determinar os dados que serão necessários para resolver o problema e recolhê-los de todas as fontes disponíveis.
3. Preparação dos dados – Preparar os dados no formato apropriado para responder à questão empresarial, fixando quaisquer problemas de qualidade de dados, tais como dados em falta ou duplicados.
4. Modelação – Utilizar algoritmos para identificar padrões dentro dos dados.
5. Avaliação – Determinar se e como os resultados entregues por um determinado modelo ajudarão a atingir o objectivo empresarial. Há frequentemente uma fase iterativa para encontrar o melhor algoritmo de modo a alcançar o melhor resultado.
6. Implantação – Disponibilizar os resultados do projecto aos decisores.

Através deste processo, é essencial uma estreita colaboração entre peritos de domínio e mineiros de dados para compreender o significado dos resultados da prospecção de dados para a questão empresarial a ser explorada.

Casos e Exemplos de Utilização de Mineração de Dados

As organizações de todas as indústrias estão a obter resultados transformadores da mineração de dados:

li> Groupon alinha as actividades de marketing – Um dos principais desafios do Groupon é o processamento do enorme volume de dados que utiliza para fornecer o seu serviço de compras. Todos os dias, a empresa processa mais do que um terabyte de dados em bruto em tempo real e armazena esta informação em vários sistemas de bases de dados. A extracção de dados permite à Groupon alinhar mais de perto as actividades de marketing com as preferências dos clientes, analisando 1 terabyte de dados de clientes em tempo real e ajudando a empresa a identificar tendências à medida que estas vão surgindo.

li> Air France KLM atende às preferências de viagem dos clientes – A companhia aérea utiliza técnicas de extracção de dados para criar uma visão de 360º do cliente, integrando dados de pesquisas de viagem, reservas e operações de voo com interacções de web, redes sociais, call center, e salas de espera em aeroportos. Utilizam esta visão profunda do cliente para criar experiências de viagem personalizadas.

li> Bayer ajuda os agricultores com a produção sustentável de alimentos – As ervas daninhas que danificam as culturas têm sido um problema para os agricultores desde o início da agricultura. Uma solução adequada é aplicar um herbicida de espectro estreito que mata eficazmente as espécies exactas de ervas daninhas no campo, tendo o menor número possível de efeitos secundários indesejáveis. Mas para o fazer, os agricultores precisam primeiro de identificar com precisão as ervas daninhas nos seus campos. Usando Talend Real-time Big Data, a Bayer Digital Farming desenvolveu o WEEDSCOUT, uma nova aplicação que os agricultores podem descarregar gratuitamente. A aplicação utiliza aprendizagem mecânica e inteligência artificial para combinar fotos de ervas daninhas numa base de dados da Bayer com fotos de ervas daninhas que os agricultores enviam. Dá ao agricultor a oportunidade de prever mais precisamente o impacto das suas acções, tais como, escolha da variedade de sementes, taxa de aplicação de produtos de protecção de colheitas, ou calendário de colheita.

li> Domino’s ajuda os clientes a construir a pizza perfeita – A maior empresa de pizza do mundo recolhe 85.000 fontes de dados estruturadas e não estruturadas, incluindo sistemas de pontos de venda e 26 centros de cadeia de fornecimento, e através de todos os seus canais, incluindo mensagens de texto, meios de comunicação social, e Amazon Echo. Este nível de percepção melhorou o desempenho empresarial ao mesmo tempo que permitiu experiências de compra um-a-um através de pontos de contacto.

https://player.vimeo.com/video/238075190

Estes são apenas alguns exemplos de como as capacidades de mineração de dados podem ajudar as organizações orientadas para os dados a aumentar a eficiência, racionalizar as operações, reduzir custos e melhorar a rentabilidade.

O Futuro da Exploração de Dados

O futuro é brilhante para a exploração de dados e ciência de dados, uma vez que a quantidade de dados só irá aumentar. Em 2020, o nosso universo digital acumulado de dados crescerá de 4,4 zettabytes para 44 zettabytes. Também criaremos 1,7 megabytes de nova informação a cada segundo para cada ser humano no planeta.

Apenas como as técnicas de mineração evoluíram e melhoraram devido a melhorias na tecnologia, assim também nós temos tecnologias para extrair valiosos insights dos dados. Era uma vez, apenas organizações como a NASA podiam utilizar os seus supercomputadores para analisar dados – o custo de armazenamento e computação de dados era demasiado elevado. Agora, as empresas estão a fazer todo o tipo de coisas interessantes com aprendizagem de máquinas, inteligência artificial, e aprendizagem profunda com lagos de dados baseados em nuvens.

Por exemplo, a Internet das Coisas e a tecnologia wearable transformaram pessoas e dispositivos em máquinas geradoras de dados que podem produzir conhecimentos ilimitados sobre pessoas e organizações – se as empresas puderem recolher, armazenar, e analisar os dados suficientemente rápido.

Haverá cerca de >20 mil milhões de dispositivos ligados na Internet das Coisas (IoT) até 2020. Os dados gerados por esta actividade estarão disponíveis na nuvem, criando uma necessidade urgente de ferramentas analíticas flexíveis e escaláveis que possam lidar com massas de informação de conjuntos de dados díspares.

As soluções analíticas baseadas na nuvem estão a tornar mais prático e económico para as organizações acederem a dados maciços e recursos informáticos. A computação em nuvem ajuda as empresas a reunir rapidamente dados de vendas, marketing, a web, sistemas de produção e inventário, e outras fontes; compilá-los e prepará-los; analisá-los; e agir para melhorar os resultados.

Fonte aberta de ferramentas de mineração de dados também proporciona aos utilizadores novos níveis de poder e agilidade, satisfazendo as exigências analíticas de formas que muitas soluções tradicionais não podem e oferecendo extensas comunidades de analistas e desenvolvedores onde os utilizadores podem partilhar e colaborar em projectos. Além disso, tecnologias avançadas como a aprendizagem de máquinas e IA estão agora ao alcance de praticamente qualquer organização com as pessoas, dados e ferramentas certas.

Software e ferramentas de mineração de dados

Não há dúvida de que a mineração de dados tem o poder de transformar as empresas; contudo, a implementação de uma solução que satisfaça as necessidades de todos os interessados pode frequentemente atrasar a selecção da plataforma. A vasta gama de opções disponíveis aos analistas, incluindo linguagens de código aberto como R e Python e com ferramentas familiares como Excel, combinada com a diversidade e complexidade de ferramentas e algoritmos, pode complicar ainda mais o processo.

Negócios que ganham mais valor com a mineração de dados seleccionam tipicamente uma plataforma que:

• Incorpora as melhores práticas para a sua indústria ou tipo de projecto. As organizações de saúde, por exemplo, têm necessidades diferentes das empresas de comércio electrónico.

>li>Gerir todo o ciclo de vida da mineração de dados, desde a exploração de dados até à produção.ul>>li>Alinha-se com as aplicações empresariais, incluindo sistemas de BI, CRM, ERP, financeiros, e outro software empresarial com o qual tem de interoperar para o máximo retorno do investimento.

li>Integrega-se com as principais linguagens de código aberto, proporcionando aos programadores e cientistas de dados a flexibilidade e as ferramentas de colaboração para criar aplicações inovadoras.

####li>Conhece as necessidades das TI, cientistas de dados e analistas, ao mesmo tempo que serve também as necessidades de relatórios e visualização dos utilizadores empresariais<

A Talend Big Data Platform fornece um conjunto completo de capacidades de gestão e integração de dados para ajudar as equipas de mineração de dados a responder mais rapidamente às necessidades do seu negócio.

Baseada numa arquitectura aberta e escalável e com ferramentas para bases de dados relacionais, ficheiros planos, aplicações de nuvem e plataformas, esta solução complementa a sua plataforma de mineração de dados, colocando mais dados a trabalhar em menos tempo – o que se traduz num tempo mais rápido para a percepção e vantagem competitiva.

A começar com Data Mining

As organizações continuam a ser inundadas por enormes quantidades de dados internos e externos, precisam da capacidade de destilar essa matéria-prima até à velocidade que o seu negócio requer.

Os negócios em cada indústria dependem do Talend para os ajudar a acelerar os insights da data mining. A nossa moderna plataforma de integração de dados permite aos utilizadores trabalhar de forma mais inteligente e rápida entre equipas, permitindo-lhes desenvolver e implementar trabalhos de integração de dados ponta-a-ponta dez vezes mais rápidos do que a codificação manual, a 1/5 do custo de outras soluções.

Dê uma vista de olhos em como começar com as ferramentas de Dados Grandes da Talend.