[Lighthouse - POC] Plataforma FinOps Pier - Configuração AWS

Processo de Configurações Básicas do Lighthouse para a Plataforma FinOps da Pier Cloud

Bem-vindo à Pier Cloud!

Elaborado com o intuito de fornecer orientações claras e precisas, este guia abrange a configuração do módulo Lighthouse AWS, visando facilitar o entendimento e a execução dos passos necessários para começar com a sua utilização.

No ambiente da AWS:

1. No menu Services escolha a opção Cloud Formation.

1. Clique em Stacks.

1. Clique em Create Stack.

1. Escolha a opção: Template is ready, e em seguida Upload a template file. Localize o arquivo PierCloud.yml, baixado da plataforma e após o upload do arquivo clique em Next.

1. Insira o nome que foi cadastrado no Lighthouse para a Stack e em parameters insira o nome do bucket em seguida clique em Next.

1. Se você deseja atribuir alguma TAG a esse Role, você pode fazer nessa página. Caso contrário, navegue até o final e clique em Next.

1. Clique no checkbox para confirmar a criação do recurso e em seguida clique em Create stack

1. O Cloud Formation iniciará a criação do Role PierCloud. Após alguns minutos você deverá visualizar CREATE_COMPLETE na coluna status.

1. Pronto, a configuração está concluída.

Abaixo um resumo das informações que deverão ser enviadas para a Pier Cloud:

• Role: billing-nomedocliente

  • Nome do Bucket S3;

  • ID da Conta Organization;

  • Caminho Path - Local onde os arquivos estão;

  • Tipo do arquivo no bucket - csv/parquet.

Lembre-se de que essa role precisa ser configurada na conta Organization

Configuração CUR 1.0

Criação de relatórios de custo e uso AWS

Os Relatórios de custo e uso da AWS controlam seu uso e fornecem as cobranças estimadas associadas à conta.

Os relatórios contêm itens de linha para cada combinação exclusiva de produtos da AWS, tipo de uso e operação usada pela conta da AWS. Você pode personalizar os Relatórios de Custo e Uso da AWS para agregar as informações por hora, dia ou mês.

Considerações antes da configuração:

Se a configuração do CUR (Cost and Usage Report) já foi realizada anteriormente, não é necessário refazer o processo. No entanto, caso a configuração atual não esteja no formato parquet ou não seja por hora, recomendamos realizar a configuração novamente.

A estrutura do bucket para os objetos deve seguir o formato abaixo:

1. Primeira camada de pastas nomeadas com o número do ano, exemplo: year=2024.

2. Segunda camada de pastas nomeadas com o número do mês, exemplo: month=5.

Para configuração, execute os seguintes passos:

1. Faça login no console de gerenciamento de faturamento e custos em: Console AWS Billing

2. No painel de navegação, selecione Cost and Usage Reports.

3. Escolha Create Report.

4. Em Report name, escolha o nome do seu report.

5. Em Relatar conteúdo adicional, selecione Incluir IDs de recursos para incluir os IDs de cada recurso individual no relatório.

1. Selecione Dados de alocação de custos divididos para incluir o custo e o uso detalhados de recursos compartilhados (somente Amazon ECS).

1. Escolha Próximo.

2. Em S3 bucket, escolha Configure.

3. Na caixa de diálogo Configurar bucket do S3, faça o seguinte:

   1. Selecione um bucket existente.

   2. Selecione Criar um bucket, insira um nome de bucket e escolha a região em que você deseja criar um novo bucket.

4. Analise a política de bucket, selecione A política padrão a seguir será aplicada ao seu bucket e escolha Salvar.

5. Em Report path prefix (Prefixo do caminho do relatório), insira o prefixo do caminho do relatório que você deseja acrescentar antes do nome do relatório.

6. Para Time granularity (Granularidade de tempo), escolha uma das seguintes opções:

   1. Hourly (Por hora) se desejar que os itens de linha no relatório sejam agregados por hora.

   2. Daily (Diariamente) se desejar que os itens de linha no relatório sejam agregados por dia.

   3. Mensalmente, se você quiser que os itens de linha no relatório sejam agregados por mês.

7. Para Report versioning (Versionamento de relatórios), escolha se deseja que cada versão do relatório seja substituída pela versão mais recente do relatório, ou seja, entregue além das versões anteriores. A substituição de relatórios pode economizar nos custos de armazenamento do Amazon S3. A entrega de novas versões de relatórios pode melhorar a auditabilidade dos dados de cobrança ao longo do tempo.

8. Em Ativar a integração de dados de relatórios para, selecione se você deseja permitir que seus relatórios de custo e uso se integrem ao Amazon Athena, Amazon Redshift ou Amazon QuickSight. O relatório é compactado nos seguintes formatos:

   1. Athena: formato de parquet

   2. Amazon Redshift ou Amazon QuickSight: compressão.gz

9. Escolha Próximo.

10. Depois de rever as configurações de seu relatório, escolha Review and Complete (Revisar e concluir).

Considerações:

O report é acessado através da Role billing-nomedocliente. Feito isso, o fluxo de carregamento e processamento de dados passa a ser acessado pela Pier Cloud, e assim será possível a criação de visões do billing e consumo através da plataforma Pier Cloud.

Leia a documentação oficial da AWS Aqui.

Configuração CUR 2.0

1. No console da AWS, pesquise por CUR. O sistema irá apresentar a feature Cost and Usage Reports, o qual deverá ser selecionada.

1. O sistema irá apresentar a tela correspondente "Cost and Usage Reports". No menu lateral, selecionar a opção Data Exports, conforme ilustrado abaixo:

1. O sistema irá exibir a tela de Exports and Dashboards, onde deve ser selecionada a opção Create, conforme ilustrado abaixo:

1. O sistema irá apresentar a tela Create Export, que deve ser preenchida conforme ilustrado abaixo:

• Em Export Details, selecione a opção "Standard data export";

• Em Export name: insira o nome que deseja atribuir ao Export.

• Em Data table content settings, selecione a opção "CUR 2.0";

• Em Additional export content, selecione as opções:

  • Include resource ID

  • Split cost allocation data

• Em Data export delivery options, selecione as opções:

  • Compression type and file format: Parquet - Parquet

  • File versioning: Overwrite existing data export file

• Em Data export storage settings, selecione as opções:

  • Em S3 bucket: Ao selecionar a opção configure, o sistema irá apresentar a tela "Configure S3 bucket", que deverá ser preenchida, conforme ilustrado abaixo:

    • Em Create a bucket or select an existing bucket, selecione "create a bucket", caso não possua um bucket creado, mas caso já possua um bucket, será possível selecionar a opção "Select existing bucket". No caso, iremos utilizar"Select existing bucket";

    • Em S3 bucket name, selecione o nome do bucket que deseja utilizar;

    • Marque a opção "I agree to overwrite my S3 bucket policy";

    • Em seguida, clique na opção "Select bucket"

O sistema irá retornar para a tela principal de Create export, onde deve ser informado o nome do seu data export, conforme restrições de nomes da AWS:

• S3 path prefix: Insira o nome que deseja atribuir ao path, conforme restrições de nomenclatura existente.

Por fim, clique na opção Create, para que o seu export seja criado:

1. Na tela de Data Exports, o sistema irá exibir o CUR criado:

1. Clicando em cima do nome do bucket, conforme ilustrado acima, o sistema irá direcionar para dentro do bucket onde será criada uma pasta contendo o nome do Path utilizado em "S3 path prefix".

3. Criação do Billing Connector na Plataforma da Pier

Na Plataforma da Pier Cloud:

1. Clicando no ícone do perfil do usuário, na opção “Configurações”, conforme ilustrado abaixo:

1. No menu lateral, selecionar a opção "Billing Connectors":

1. O sistema irá exibir a tela principal de Billing Connector, onde será permitido adicionar um novo conector de Billing, clicando na opção "Adicionar Conector":

1. Será apresentada a tela para cadastro de novos Conectores, onde será necessário inserir as seguintes informações:

• Tipo: Selecionar entre as opções Padrão

• Cloud Provider: Selecionar o provedor AWS (Amazon Web Services)

• Identificação do Billing Connector: Informar o nome que identifique o billing conector

• ID da conta da AWS: ID de identificação da conta que contém as informações de Billing na AWS

• Origem dos dados para consulta diária:

  • Nome do Bucket s3 que contém as informações dos dados de Billing: Inserir o nome do bucket utilizado na configuração S3 Bucket ao realizar a criação do CUR.

  • Path que contém os dados de billing: Informe o Path que contém os dados de billing dentro do bucket s3 da AWS.

  • Informe a versão do AWS CUR: Selecione a versão do CUR 2.0.

  • Tipo do arquivo no bucket: Informe o tipo do arquivo armazenado no bucket s3, informado na criação do CUR.

1. Por fim, ao preencher todas as informações solicitas, clicando no botão Salvar, o sistema irá retornar para a tela principal de Billing Conector, onde será possível visualizar o Billing cadastrado.