Plataforma FinOps Pier - Configurações Lighthouse AWS

Processo de Configurações Básicas para a Plataforma FinOps da Pier Cloud

Bem-vindo à Pier Cloud!

Elaborado com o intuito de fornecer orientações claras e precisas, este guia abrange a configuração do módulo Lighthouse AWS, visando facilitar o entendimento e a execução dos passos necessários para começar com a sua utilização.

Fluxo de configuração do Lighthouse

1. Como extrair as roles da Plataforma da Pier

2. Fazendo a integração na AWS

   • Conexão CUR 1.0

   • Conexão CUR 2.0

3. Criação do Billing Connector na Plataforma da Pier

4. Boas práticas de Formatação de Dados do Billing

1. Criação de Role PierCloud

Como extrair as roles da Plataforma da Pier:

Para configurar a role PierCloud no console da AWS você precisa ter um arquivo YAML que será baixado direto na plataforma da Pier Cloud.

Com o arquivo salvo em seu desktop siga os passos apresentados a seguir.

Este passo deve ser executado em todas as contas existentes para a role billing.

Na Plataforma da Pier Cloud:

1. Na Plataforma, dentro do Contexto Amazon Web Services, acesse o ícone do usuário, conforme ilustrado abaixo:

1. Selecione Configurações, conforme ilustrado na imagem abaixo. O primeiro passo é baixar os arquivos Yaml que ficam disponíveis na Plataforma da Pier:

1. Neste passo, clique em AWS Roles no menu inferior esquerdo, em seguida encontre a role desejada, neste caso iremos selecionar a role ”lighthouse-piercloud”, e clique sobre o ícone no canto direito, para fazer o download da role, conforme ilustrado na imagem abaixo:

2. Fazendo a Integração na AWS

No ambiente da AWS:

1. No menu Services escolha a opção Cloud Formation.

1. Clique em Stacks.

1. Clique em Create Stack.

1. Escolha a opção: Template is ready, e em seguida Upload a template file. Localize o arquivo PierCloud.yml, baixado da plataforma no passo 1 e após o upload do arquivo clique em Next.

1. Insira o nome que foi cadastrado no Lighthouse para a Stack e em parameters insira o nome do bucket em seguida clique em Next.

1. Se você deseja atribuir alguma TAG a essa Role, você pode fazer nessa página. Caso contrário, navegue até o final e clique em Next.

1. Clique no checkbox para confirmar a criação do recurso e em seguida clique em Create stack

1. O Cloud Formation iniciará a criação da Role PierCloud. Após alguns minutos você deverá visualizar CREATE_COMPLETE na coluna status.

1. Pronto, a configuração está concluída.

Abaixo um resumo das informações que deverão ser enviadas para a Pier Cloud:

• Role: billing-nomedocliente

  • Nome do Bucket S3;

  • ID da Conta Organization;

  • Caminho Path - Local onde os arquivos estão;

  • Tipo do arquivo no bucket - csv/parquet.

Configuração CUR 1.0

Criação de relatórios de custo e uso AWS

Os Relatórios de custo e uso da AWS controlam seu uso e fornecem as cobranças estimadas associadas à conta.

Os relatórios contêm itens de linha para cada combinação exclusiva de produtos da AWS, tipo de uso e operação usada pela conta da AWS. Você pode personalizar os Relatórios de Custo e Uso da AWS para agregar as informações por hora, dia ou mês.

Considerações antes da configuração:

Se a configuração do CUR (Cost and Usage Report) já foi realizada anteriormente, não é necessário refazer o processo. No entanto, caso a configuração atual não esteja no formato parquet ou não seja por hora, recomendamos realizar a configuração novamente.

A estrutura do bucket para os objetos deve seguir o formato abaixo:

1. Primeira camada de pastas nomeadas com o número do ano, exemplo: year=2024.

2. Segunda camada de pastas nomeadas com o número do mês, exemplo: month=5.

Para configuração, execute os seguintes passos:

1. Faça login no console de gerenciamento de faturamento e custos em: Console AWS Billing

2. No painel de navegação, selecione Cost and Usage Reports.

3. Escolha Create Report.

4. Em Report name, escolha o nome do seu report.

5. Em Relatar conteúdo adicional, selecione Incluir IDs de recursos para incluir os IDs de cada recurso individual no relatório.

1. Selecione Dados de alocação de custos divididos para incluir o custo e o uso detalhados de recursos compartilhados (somente Amazon ECS).

1. Escolha Próximo.

2. Em S3 bucket, escolha Configure.

3. Na caixa de diálogo Configurar bucket do S3, faça o seguinte:

   1. Selecione um bucket existente.

   2. Selecione Criar um bucket, insira um nome de bucket e escolha a região em que você deseja criar um novo bucket.

4. Analise a política de bucket, selecione A política padrão a seguir será aplicada ao seu bucket e escolha Salvar.

5. Em Report path prefix (Prefixo do caminho do relatório), insira o prefixo do caminho do relatório que você deseja acrescentar antes do nome do relatório.

6. Para Time granularity (Granularidade de tempo), escolha uma das seguintes opções:

   1. Hourly (Por hora) se desejar que os itens de linha no relatório sejam agregados por hora.

   2. Daily (Diariamente) se desejar que os itens de linha no relatório sejam agregados por dia.

   3. Mensalmente, se você quiser que os itens de linha no relatório sejam agregados por mês.

7. Para Report versioning (Versionamento de relatórios), escolha se deseja que cada versão do relatório seja substituída pela versão mais recente do relatório, ou seja, entregue além das versões anteriores.

1. Em Ativar a integração de dados de relatórios para, selecione se você deseja permitir que seus relatórios de custo e uso se integrem ao Amazon Athena, Amazon Redshift ou Amazon QuickSight. O relatório é compactado nos seguintes formatos:

   1. Athena: formato de parquet

   2. Amazon Redshift ou Amazon QuickSight: compressão.gz

2. Escolha Próximo.

3. Depois de rever as configurações de seu relatório, escolha Review and Complete (Revisar e concluir).

Considerações:

O report é acessado através da Role lighthouse-piercloud. Feito isso, o fluxo de carregamento e processamento de dados passa a ser acessado pela Pier Cloud, e assim será possível a criação de visões do billing e consumo através da plataforma Pier Cloud.

Leia a documentação oficial da AWS Aqui.

Configuração CUR 2.0

1. No console da AWS, pesquise por CUR. O sistema irá apresentar a feature Cost and Usage Reports, o qual deverá ser selecionada.

1. O sistema irá apresentar a tela correspondente "Cost and Usage Reports". No menu lateral, selecionar a opção Data Exports, conforme ilustrado abaixo:

1. O sistema irá exibir a tela de Exports and Dashboards, onde deve ser selecionada a opção Create, conforme ilustrado abaixo:

1. O sistema irá apresentar a tela Create Export, que deve ser preenchida conforme ilustrado abaixo:

• Em Export Details, selecione a opção "Standard data export";

• Em Export name: insira o nome que deseja atribuir ao Export.

• Em Data table content settings, selecione a opção "CUR 2.0";

• Em Additional export content, selecione as opções:

  • Include resource ID

  • Split cost allocation data

  • Time granularity

    • Hourly

• Em Data export delivery options, selecione as opções:

  • Compression type and file format: Parquet - Parquet

  • File versioning: Overwrite existing data export file

• Em Data export storage settings, selecione as opções:

  • Em S3 bucket: Ao selecionar a opção configure, o sistema irá apresentar a tela "Configure S3 bucket", que deverá ser preenchida, conforme ilustrado abaixo:

    • Em Create a bucket or select an existing bucket, selecione "create a bucket", caso não possua um bucket criado, mas caso já possua um bucket, será possível selecionar a opção "Select existing bucket". No caso, iremos utilizar"Select existing bucket";

    • Em S3 bucket name, selecione o nome do bucket que deseja utilizar;

    • Marque a opção "I agree to overwrite my S3 bucket policy";

    • Em seguida, clique na opção "Select bucket"

O sistema irá retornar para a tela principal de Create export, onde deve ser informado o nome do seu data export, conforme restrições de nomes da AWS:

• S3 path prefix: Insira o nome que deseja atribuir ao path, conforme restrições de nomenclatura existente.

Por fim, clique na opção Create, para que o seu export seja criado:

1. Na tela de Data Exports, o sistema irá exibir o CUR criado:

1. Clicando em cima do nome do bucket, conforme ilustrado acima, o sistema irá direcionar para dentro do bucket onde será criada uma pasta contendo o nome do Path utilizado em "S3 path prefix".

3. Criação do Billing Connector na Plataforma da Pier

Na Plataforma da Pier Cloud:

1. Clicando no ícone do perfil do usuário, na opção “Configurações”, conforme ilustrado abaixo:

1. No menu lateral, selecionar a opção "Billing Connectors":

1. O sistema irá exibir a tela principal de Billing Connector, onde será permitido adicionar um novo conector de Billing, clicando na opção "Adicionar Conector":

1. Será apresentada a tela para cadastro de novos Conectores, onde será necessário inserir as seguintes informações:

• Tipo: Selecionar a opção Padrão

• Cloud Provider: Selecionar o provedor AWS (Amazon Web Services)

• Identificação do Billing Connector: Informar o nome que identifique o billing conector

• ID da conta da AWS: ID de identificação da conta que contém as informações de Billing na AWS

• Origem dos dados para consulta diária:

  • Nome do Bucket s3 que contém as informações dos dados de Billing: Inserir o nome do bucket utilizado na configuração S3 Bucket ao realizar a criação do CUR.

  • Path que contém os dados de billing: Informe o Path que contém os dados de billing dentro do bucket s3 da AWS.

  • Informe a versão do AWS CUR: Selecione a versão do CUR 2.0.

  • Tipo do arquivo no bucket: Informe o tipo do arquivo armazenado no bucket s3, informado na criação do CUR.

1. Por fim, ao preencher todas as informações solicitas, clicando no botão Salvar, o sistema irá retornar para a tela principal de Billing Conector, onde será possível visualizar o Billing cadastrado.

4. Boas práticas de Formatação de Dados do Billing

1. Camada de pastas nomeadas com número do ano, ex: year=2022.

1. Segunda camada de pastas de mês nomeadas com número do mês, ex: month=5.

1. Arquivo .Parquet daquele mês com os dados do mês inteiro, mesmo que particionado em quantas partes forem necessárias.

Pronto! Com isso concluímos todas as etapas para configuração do Lighthouse utilizando o seu provedor AWS.