Apresentação TDC 2018 - Go e Banco de Dados

Description
Com o crescimento na produção de dados, a cada dia aumenta o desafio em processar estes dados, e por sua vez armazenar os mesmos de forma segura e eficiente. Desta forma a linguagem Go vem como alternativa para aumentar a performance destas operações de processamento e carga em banco de dados. Para esta apresentação será exibido as principais formas de interagir com bancos de dados em Go, bem como suas vantagens e comparação frente a outras linguagens e ferramentas de ETL.

Please download to get full document.

View again

of 13
All materials on our website are shared by users. If you have any questions about copyright issues, please report us to resolve them. We are always happy to assist you.
Information
Category:

Software

Publish on:

Views: 0 | Pages: 13

Extension: PDF | Download: 0

Share
Transcript
  • 1. G O E B A N C O D E D A D O S M A R C E L O K R � G E R D A T A I N T E G R A T I O N T E A M GANHANDO DESEMPENHO EM PROCESSOS DE CARGA DE DADOS
  • 2. A P R E S E N T A � � O FORMA��O �Ci�ncias da Computa��o - UNIVALI/SJ VIDA PROFISSIONAL Digitro Tecnologia: Integra��o de Dados e DBA (Oracle, DB2 e PostgreSQL) Cassol Centerlar: DBA Oracle Neoway: Especialista de Dados e DBA PostgreSQL PUBLICA��ES Efficient Execution of Conjunctive Complex Queries on Big Multimedia Databases (Co-autor) Baquara: A Holistic Ontological Framework for Movement Analysis with Linked Data (Co-autor) Fragmenta��o, caracteriza��o e recupera��o de imagens em bases de dados Oracle (Autor)
  • 3. N E O W A Y 100% Big Data Fornecer solu��es que v�o al�m de exibir dados, mas sim gerar informa��o e conhecimento para tomada de decis�o N�o ser mais do mesmo, ser DIFERENTE!
  • 4. B I G D A T A Grande Volume de Dados, estruturados e n�o estruturados, oriundos de diversas fontes = Gerar conhecimento para auxiliar na tomada de decis�o
  • 5. D E S A F I O S D A C A R G A D E D A D O S Grande volume de dados � � Dados Transacionais, Informa��es publicas, Dados de Sensores, ... Dados em diversos tipos de arquivo � � �CSV / Texto / Json / XML Quanto maior o volume, maior o tempo para carregar dados em uma estrutura � � �Escalabilidade / Velocidade / Facil manuten��o
  • 6. O B A N C O D E D A D O S Recebe a maior carga dentro de uma estrutura de dados Recurso compartilhado entre outros processos e usuarios � � Uso constante de recursos (CPU / Memoria / Disco) Maior criticidade frente a outros processos Como carregar dados de forma eficiente sem prejudicar o banco de dados?
  • 7. F O R M A S D E R E A L I Z A R C A R G A D E D A D O S COPY PL/SQL Scripts (BASH) Softwares para ETL (PDI, ) Via Linguagens � � �JAVA / C# / Phython / C++ / Go, ....
  • 8. Q U A L U T I L I Z A R ? Realizado teste de inser��o em massa no PostgreSQL, utilizando as linguagens Java, C#, Python e GO Estrutura do teste CPU: i7 Memoria: 8GB Banco de Dados: PostgreSQL 9.6 em container Docker Carga de 5 mih�es de empresas (CNPJ e Raz�o Social) Processo e Banco de Dados est�o executando na mesma estrutura.
  • 9. Q U A L U T I L I Z A R ? 0 2 4 6 8 10 Java C# Python Go Tempo de Execu��o em cada linguagem (Minutos)
  • 10. Q U A L U T I L I Z A R ? Golang Al�m do desempenho para carga de dados Programa��o concorrente/paralela nativa Desempenho (Baseado em C o/) Multiplataforma Open Source Facilmente escal�vel Simples!
  • 11. D E P E N D � N C I A S P A R A C A R G A D O S D A D O S database/sql github.com/lib/pq (Driver PostgreSQL)
  • 12. E X T R A Para melhorar o tempo de carga � possivel ainda recorrer a estruturas de Pool no PostgreSQL.
  • 13. O B R I G A D O ! M A R C E L O . K R U G E R @ N E O W A Y . C O M . B R M A R C E L O K R U G E R . C O M . B R
  • Related Search
    We Need Your Support
    Thank you for visiting our website and your interest in our free products and services. We are nonprofit website to share and download documents. To the running of this website, we need your help to support us.

    Thanks to everyone for your continued support.

    No, Thanks