White Paper

WHITE PAPER

05/2016

Boas Praticas para uma plataforma de Dados Abertos e Transparencia

By Edgar Silva

1. Sumário Executivo e Introdução

O tema transparência, lei de acesso à informação, já não é novidade para muitos na esfera e indústria do Governo. Entretanto, ainda é extremamente complexo obter as informações de forma ágil, embora muitos orgãos tenham seus sites e portais, em muitos deles as informações ainda que disponíveis, muitas vezes estão em formatos complexos, com acesso burocrático e ainda pior: Captchas! Para que captchas se o acesso deveria ser estimulado e não restringindo?

Boas Praticas para uma plataforma de Dados Abertos e Transparencia

Trabalhando atualmente com alguns clientes nestas frentes, uma das reclamações mais comuns que os gestores tem é: “Criar um projeto de transparência é muito complexo!”.

Neste documento, vamos abordar alguns passos para tornar uma iniciativa de Dados/Serviços Abertos e Transparência extremamente bem sucedida, além de recomendações de alguns clientes reais que tiveram uma mudança radical e estão obtendo grande sucesso em seus projetos.

Para exemplificar irei utilizar ferramentas WSO2, embora você possa buscar outras ferramentas similares, mas que resolvam a mesma problemática com prazos aceitáveis. Sendo assim, mesmo que você queira usar outras soluções, esta leitura será muito útil.

Antes de qualquer busca veja os grandes diferencias das soluções WSO2:

  • Produtos Leves e fáceis de serem aprendidos;
  • Produtividade levada ao extremo;
  • Baixo Custo;
  • Alto Retorno de investimento.

2. Passo 1 : Os Dados

Eu não vou usar exemplos de outros países, até porque em breve lançaremos projetos muito interessantes no Brasil e na América Latina, porém temos que encarar a realidade de que quando fui buscar os famosos datasets (conjunto de dados “abertos”) percebi uma ligeira burocracia e dificuldade. Por exemplo, acessei um site, que prefiro não mencionar a fonte, que não tinha captcha, mas o acesso aos dados era um arquivo ZIP! Sim, um ZIP. Neste, o conteúdo era o seguinte:

Figura 1 - Metadados dos dados

Figura 1 - Metadados dos dados

Figura 2 - Os dados “abertos”

Figura 2 - Os dados “abertos”

Para ter acesso a estes dados, tive que executar os seguintes passos:

  • Download do ZIP
  • Descompactar
  • Abrir no Excel (Não deu para entender nada)
  • Abrir o Arquivo de Metadados (Para tentar entender)
  • Ok, desisto! Vou abrir o CSV como texto, não entendi nada.

Imagine o impacto na experiência de usuário? É frustrante não é? Assim como é frustrante várias coisas no Brasil, será que já não temos burocracia demais? Os pilares de um Governo Eletronico/Digital não seriam tornar os processos mais fáceis (desburocratizar) e acessíveis de forma a engajar o cidadão, entidades de classe, empresas, etc?

2.1 Solução: Vamos focar em formatos acessíveis e interoperáveis!

Não é de hoje que existe algo chamado XML e também, o formato JSON já não é dos mais recentes. Estes por sua vez dominam as indústrias de Integração e Interoperabilidade, então por que não pensar em “Serviços” ou “APIs” que possam “expor” os dados de maneiras realmente acessíveis interoperáveis?

Para resolver o problema exposto acima, levamos a seguinte solução: WSO2 Data Services Server - DSS, que é uma plataforma que permite “federar” e expor seus dados, sejam eles armazenados em:

  • Bancos de dados (Views, Stored Procedures e Tabelas)
  • Arquivos do Excel, CSV ou Google Spreadsheet
  • MongoDB, Cassandra, Hadoop etc
  • Até mesmo uma Página Web (Mapeamento de dados de tela)
  • Etc

O WSO2 DSS, permite que você crie serviços baseados em SOAP e REST. Estes por sua vez, permitem mais que leitura e exposição dos dados, sendo capazes de expor também operações de alteração de dados, bem como uso de Stored Procedures e Funções do Banco.

Figura 3 - Arquitetura Geral do WSO2 Data Services

Figura 3 - Arquitetura Geral do WSO2 Data Services

Checkpoint:

Até aqui você viu que abrir seus dados pode ser realmente ágil e muito rápido. A maioria de nossos clientes, conseguem disponibilizar seus dados “como serviços” em menos de uma semana.

Quickwin:

Primeiros Dados Abertos em menos de uma semana.

Oportunidade:

Fazer com que seus gestores, parceiros e cliente (cidadão), possam fato ter uma experiência de Dados Abertos.

Grau de Complexidade (de 1 a 5): 1

Table 1

3. Passo 2 : Criando APIs de Dados Abertos

Uma vez que seu DSS já disponibilizou os dados, algumas perguntas irão surgir dos gestores, ou mesmo de modo geral na organização:

  • “Já que não temos Captchas, para garantir que o acesso é controlado, como fazemos para não derrubarem nossos serviços e servidores?”
  • “Uma vez que qualquer um poderá acessar os dados, poderíamos pelo menos saber quem está acessando e ter algumas informações analíticas? “
  • “Como posso distinguir os acessos que fazem aos nossos dados?”
  • “Como vamos saber quais as aplicações e tipos de aplicações que acessam nossos dados?”

Poderíamos listar mais perguntas, porém as questões acima são as mais frequentes. Antes de evoluirmos para a solução em si, vamos às respostas partindo do ponto de vista funcional:

Quando disponibilizamos os serviços de dados, podemos dizer que estamos disponibilizando uma API de Serviços! Estas por sua vez, vão representar de forma individual cada um dos recursos que podem ser acessados. Por exemplo: podemos criar o que chamamos de “Lojas de APIs” que serão as “Lojas de Acesso aos Dados Abertos” da mesma forma que existem a Apple Store(™) e GooglePlay (™). A instituição poderá disponibilizar para cada um de seus serviços um espaço onde possa atrair seus “usuários” que poderão ser chamados de consumidores que para terem acesso aos serviços, poderão “Assinar” esses serviços. Neste processo de assinatura, podem haver planos de serviços, por exemplo:

  • Bronze: gratuíto e garantiria um número máximo de X transações por dia;
  • Prata: garantiria um número maior de transações, mas poderia ter um custo, ou apenas usuários “aprovados”(convênios);
  • Ouro: acesso ilimitado, podendo este acesso ser cedido apenas para outros orgãos, ou empresas que usarão este dado e serviço de uma maneira profissional e segura.

Veja que a questão de dados abertos, pode até gerar uma receita para orgão! Em tempos difíceis, não seria uma má idéia alguém entrar com neste tipo de estratégia, uma vez que a informação é aberta. Veja um exemplo de relatório que você poderia ter:

Dado/Serviço Aberto Plano Preço Mensal Assinantes Receita
Certidão API Basic 0 937 R$0
Certidão API Premium R$99,00 491 R$48.609

Table 2

Como cada Serviço de Dado Aberto ou API, só poderá ser acessado por usuários que se “inscrevam” nos mesmos, será muito fácil saber quais são os serviços mais acessados, por quem, em qual horário, etc. Quando um usuário se inscreve numa API, ele terá um “Token” que será sua assinatura de acesso para realizar as transações.

3.1 Solução

Para dar vida a esta parte da solução, gostaria de apresentar o WSO2 API Manager que é uma Suíte de Exposição, Gestão, Segurança e Publicação de APIs de Serviço. O WSO2 API Manager é uma solução completa, que já está em produção em alguns clientes na região e alguns deles no Brasil.

A Suíte se subdivide nos seguintes módulos:

  • API Store (Loja de APIs)
    • Tem a finalidade de expor e exibir um serviço ou API, seja de forma individual ou em uma loja de acessos.
    • Os usuários e consumidores vão até estes portais de APIs e se inscrevem em cada uma das APIs de seu interesse. Com esta inscrição eles recebem um token que é o que identificará o acesso e execução das chamadas, o qual podemos usar para termos insights e todas as informações de acesso as APIs de Dados Abertos e seus comportamentos.
  • API Publisher (Publicador de APIs)
    • Plataforma na qual os usuários podem publicar as APIs.
    • Neste caso, como usamos o DSS para ser o motor inicial das publicações das APIs, nós podemos ter então o API Publisher realizando a comunicação com o DSS, controlando, documentando e proporcionando a melhor experiência possível aos consumidores que poderão posteriormente ter acesso a Loja de APIs.
  • API Gateway ( Transformação de Formatos e Roteamento)
    • Realiza o papel de apoio em possíveis transformações, roteamentos nos serviços que são expostos.
    • Controle de Throttling - Políticas de acesso, por exemplo:
      • Throttling Policy
        • Quantidade de requisições / tempo / horário/ etc
        • Blacklists (acesso negado) e Whitelists(acesso permitido) de IPs
  • API Security (Gerencia Tokens de Acesso para as APIs)
    • É o módulo do API Manager responsável por controle de acesso as APIs. Possui todo o suporte a OAuth que faz com que cada usuário tenha sua credencial individual de acesso.
    • API Analytics (Dados de Acesso, dados analíticos, bilhetagem etc)
      • É o módulo responsável por coletas de dados usando técnicas de Big Data (Apache Spark) e gerando inúmeros gráficos e dados para serem apresentados nas interfaces do API Manager.

Checkpoint:

Até aqui você viu que o API Manager pode gerenciar os seus dados e serviços abertos.

Quickwin:

Loja da APIs expostas, em cerca de 2-3 semanas

Oportunidade:

Engajar uma comunidade de consumidores, que podem ser cidadãos, mas também empresas e até outros orgãos

Grau de Complexidade (de 1 a 5): 1

Table 3

O que faz do API Manager uma solução interessante e de rápida implementação é o modelo pragmático e de simples instalação nos data-centers de nossos clientes. Também temos a opção de uso do produto na nuvem, que inicia com custo de USD 100,00 (Cem Dólares) mensal, ou seja, nossos clientes tem total opção de onde e como farão a instalação de nossa plataforma. Na figura a seguir, veja como pode ficar sua arquitetura de solução:

Figura 4 - Adicionando o API Manager sobre sua federação de dados abertos

Figura 4 - Adicionando o API Manager sobre sua federação de dados abertos

4. Passo 3 : Incentivar o uso dos seus dados abertos

Existem diversas organizações interessadas em dados abertos e o impacto positivo que estes dados podem proporcionar aos cidadãos é perceptível desde o primeiro instante, veja por exemplo projetos como: Ficha Limpa, Radar Parlamentar etc, eles trazem um início de democratização . Quanto mais transparentes, mais caminharemos para fatores importantes:

  • Redução da burocracia;
  • Combate a corrupção;
  • Informações para tomada de decisão dos cidadãos;
  • Prestação de Contas com o Povo (Engajamento Social)
  • Integração das agências do governo.

Por exemplo, se fizermos uma pergunta para você: Dos deputados federais abaixo qual tem maior presença no plenário? :

  1. FRANCISCO EVERARDO OLIVEIRA SILVA
  2. CELSO UBIRAJARA RUSSOMANNO

Atenção: Não está em voga aqui a qualidade parlamentar, opção partidária ou qualquer outro objetivo que não seja a comparação de um indicador, que no caso é a presença no plenário:

O que este indicador mostra é que o deputado Francisco Everaldo Oliveira Silva, mais conhecido por seu pseudônimo Tiririca ainda não tem faltas nas sessões plenárias. Além deste indicador, vários outros estão disponíveis, para que possam ser usados da melhor forma possível pela sociedade.

Estes dados são abertos com intuito de transparência e prestação de contas com os eleitores, porém existem muitos serviços que trazem benefícios diretos e indiretos, por exemplo:

  • Emissão de uma Certidão Online ou mesmo Pagamento de Guia
    • Benefícios diretos:
      • Maior agilidade para o cidadão
      • Eventualmente uma geração de receita para o orgão.
    • Benefícios indiretos:
      • Enxugar custos da Máquina Pública em termos de custos de :
        • Aluguel de Espaços
        • Energia, Manutenção destes espaços
        • Foco de pessoal em áreas realmente importantes, como : desburocratizar as entidades
      • Impacto sócio-ambiental:
        • Redução de uso de papel com processos digitais e eletronicos
        • Criação de bureaus de serviços em comunidades distantes para emissão destes serviços em estabelecimentos populares como lanhouses e etc.
        • Redução de locomoção e aglomeração de pessoas em um determinado local, que com isto aumenta a necessidade de espaço.
        • Revigorar a visão positiva dos cidadãos com o poder público.

A medida que os dados estão mais acessíveis, com padrões abertos e de fácil consumo, estaremos caminhando para um processo de democratização da informação, fazendo os Governos começarem a olhar para uma era Digital. Isto faz com que possamos recuperar de uma maneira efetiva nossa credibilidade e olhar para uma era onde vamos poder estabelecer um caminho para um Governo Eletronico (e-Gov).

5. Caso de Sucesso : MPRJ

Um dos projetos que implementamos no segmento de transparência foi o Ministério Público do Rio de Janeiro - MPRJ que está em vias de abrir sua API Store. Nesta loja estarão disponíveis serviços ao cidadão além de vários dados abertos sobre os processos e atividades da insituição.

“A criação de uma API Store, teve um papel fundamental na organização e disponibilização dos serviços aos usuários.”

Aqui você pode ver o resultado da API Store do MPRJ, que muito em breve estará no ar:

Figura 5 - API Store do MPRJ que muito em breve estará disponível para a
sociedade brasileira

Figura 5 - API Store do MPRJ que muito em breve estará disponível para a sociedade brasileira

Neste projeto do MPRJ, conversamos com o Alexandre Almeida, que é o responsável pela Gerência de Portal e Programação visual, área subordinada á Secretaria de Tecnologia de Informação e Comunicação do Orgão:

a) Quais os objetivos do MPRJ em criar uma API Store com Dados e Serviços Abertos ?

O objetivo principal do Ministério Público do Estado do Rio de Janeiro em disponibilizar um Portal de Transparência Institucional, foi garantir aocidadão, o direito de fiscalizar a utilização de bens e recursos públicos. Conforme estipulado na Resolução CNMP nº 86/2012, o Portal da Transparência do Ministério Público é instrumento de controle social da execução orçamentária, financeira e administrativa dos Ministérios Públicos da União e dos Estados. A criação de uma API Store, teve um papel fundamental na organização e disponibilização dos serviços aos usuários.

b) Porque vocês escolheram a plataforma WSO2?

A escolha da plataforma WSO2 deu-se pela característica da arquitetura open-source baseada na plataforma java, tecnologia utilizada na maiorias dos sistemas do MPRJ. Outro fator importante foi o tipo de licenciamento, os diversos dos produtos que compõem a plataforma WSO2, possuem todas as funcionalidades para produção em larga escala, mesmo sem a necessidade da aquisição de uma subscrição de alto custo, proporcionando ao Ministério Publico do Rio de Janeiro a governança, economicidade e a agilidade na integração dos sistemas e disponibilização de serviços ao cidadão.

Agradecemos o depoimento espontâneo do MPRJ, e esperamos continuar essa grande parceria de sucesso ao longo dos anos.

6. Outros produtos WSO2 recomendados

No exemplo acima, mostramos apenas dois módulos da WSO2 mas existem outros produtos que podem ajudar sua organização não somente a alcançar um novo patamar na era de Governo Digitais, mas ainda uma forte economia para seus orçamentos, um retorno de investimento rápido e a maximização da qualidade da sua organização. Entre estes produtos podemos citar:

Produto/Solução Objetivo
WSO2 Enterprise Service Bus O WSO2 Enterprise Service Bus - ESB, apoia sua organização no que tange criar os elos de integração de formas mais produtivas e ágeis. Converta seus serviços de plataformas legadas como Natural/Adabas, TCP-IP, SAP, ERPs in house, dentre outros, em serviços de alta-performance que possam atuar em cenários de transformações, roteamento, segurança etc.
WSO2 Identity Server WSO2 Identity Server apoia sua organização federando suas bases de usuários num ambiente aderente a SSO, além de ser uma plataforma que pode gerenciar toda a experiência de usuários, realizando seus cadastros, lembretes de senha, bloqueio, revogação de acesso etc.
WSO2 Governance Registry WSO2 Governance Registry atua com todo o ciclo da gestão de sua organização de tecnologia, desde suas aplicações, bancos de dados, serviços, até mesmo suportando a criação de extensões para controlar processos de desenvolvimento (Scrum, Kanban etc), data-centers e até mesmo no apoio de deployment das soluções WSO2.
WSO2 Business Process Server WSO2 Business Process Server - BPS, traz suporte à execução de processos BPEL, que permitem a migração de plataformas proprietárias, além do motor Activiti como sendo o motor BPMN para execução de Processos de Negócios.
WSO2 Microservices Framework for Java WSO2 Microservices Framework for Java é a solução ideal para construção de aplicações orientadas ao paradigmas de Microserviços.

7. Conclusão

Estabelecer uma iniciativa e projeto de Dados Abertos, Transparência e Governo Eletrônico,o, se torna extremamente estratégico para qualquer organização governamental, os ganhos a curto e médio prazo são muito perceptíveis, uma vez que inovações digitais fazem com que naturalmente a máquina de governo comece operar de forma mais efetiva e predominantemente em favor dos principais interessados: Dos orgãos, empresas privadas e dos cidadãos. Estamos a disposição para ajudar sua organização a qualquer momento para entender como podemos levar a prática, o que discutimos neste whitepaper, e claro, o que implementamos aqui nossa plataforma, pode ser enrtregue com plataformas de outros fornecedores, a grande questão é apenas a produtivadade e a experiência de vários projetos, que podemos trazer para você desde o primeiro dia de trabalho. Abaixo um quadro com resumo e camadas lógicas da solução, que você pode inclusive implementar com outras soluções de mercado:

8. Informações Complementares

8.1 Processo de Adoção na Plataforma de Dados Abertos WSO2

Geralmente temos um modelo de adoção estremamente lean e ágil, o que faz com que nossos clientes tenham vitórias rápidas (quick-wins) em todas suas fases. Veja abaixo o cronograma proposto para melhorar ou até tirar do papel sua iniciativa de dados e serviços abertos.

1. Workshop

Um treinamento focado sobre WSO2 DSS e WSO2 API Manager, que leva 5 dias, utilizando apenas um período (4 Horas) e a turma pode ter de 3 a 8 pessoas.

  • Entregável: Equipe capacitada
  • Tempo: 1 Semana

2. Quickstart : DSS e Primeiros Dados e Serviços Abertos

Criação e disponibilização dos primeiros serviços, geralmente é possível ter pelo menos 2 serviços totalmente publicados e funcionais, dependendo da complexidade, mas serviços podem ser disponibilizados junto com a equipe do cliente.

  • Entregável: Primeiros Serviços 100% Funcionais
  • Tempo: 1 Semana

3. Quickstart : DSS e Primeiros Dados e Serviços Abertos

Instalação e configuração dos módulos do API Manager, dependendo dos Layouts da Loja, e da quantidade de APIs que serão lançadas, o tempo de entrega poderá ser maior.

  • Entregável:
    1. A plataforma funcional 100% dos módulos do API Manager
    2. .Desenho e estruturação de um Portal completo de seus serviços, além de uma comunidade para engajar desenvolvedores.
  • Tempo: de 2 a 3 semanas

8.2 Parceiros WSO2 Credenciados para Entrega deste tipo de projeto

Um dos pontos mais importantes que temos em vista é o fato de possuirmos nossos parceiros aptos para poderem entregar um projeto de sucesso como estes, para isto, nós adicionamos os contatos destes em todo o Brasil.

Parceiro Atuação Informações
DigiAGE São Paulo https://www.digiage.com.br/

Contato: Eliel Oliviera

[email protected]
Neoinix São Paulo, Paraná https://www.neoinix.com.br

Contato: Clovis Wichoski

[email protected]
CDS Brasilia, Rio de Janeiro. https://www.cds.com.br/

Contato: Yuri Gomes

[email protected]
Vertigo Rio de Janeiro, Espirito Santo https://www.vertigo.com.br

Contato: Yuri Gomes

[email protected]
Sea Tecnologia Brasilia https://www.seatecnologia.com.br

Contato: Alexandre Gomes

mailto:[email protected]
IFactory Fortaleza , Recife https://www.ifactory.com.br

Contato: Herique Andrade

[email protected]

For more details about our solutions or to discuss a specific requirement

x

Interessado em um conteúdo similar?