Правильна політика доступу для кластеру пошуку Amazo Elastic Search

Нещодавно я почав використовувати нову службу Amazon Elasticsearch, і я не можу визначити потрібну мені політику доступу, щоб я міг отримувати доступ до служб лише з моїх екземплярів EC2, яким призначена певна роль IAM.

Ось приклад політики доступу, яку я наразі призначив для домену ES:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::[ACCOUNT_ID]:role/my_es_role",
        ]
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:[ACCOUNT_ID]:domain/[ES_DOMAIN]/*"
    }
  ]
}

Але, як я вже сказав, це не працює. Я входжу в екземпляр EC2 (який має my_es_roleдодану до нього роль) і намагаюся запустити простий виклик curl у кінцевій точці "https: //*.es.amazonaws.com", я отримую таку помилку:

{"Повідомлення": "Користувач: анонім не має права виконувати: es: ESHttpGet на ресурсі: arn: aws: es: us-east-1: [ACCOUNT_ID]: domain / [ES_DOMAIN] /“}

Хтось знає, що я повинен змінити в політиці доступу, щоб це працювало?

Ви можете заблокувати доступ лише до IAM, але як ви переглянете Kibana у своєму браузері? Ви можете встановити проксі ( див. Модуль Gist та / або NPM ) або дозволити доступ до IAM та IP-доступу для перегляду результатів.

Мені вдалося отримати доступ до IAM з обмеженим доступом до IAM за допомогою наступної Політики доступу. Зверніть увагу, що порядок важливий: я не міг змусити його працювати з оператором на основі IP перед оператором IAM.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::xxxxxxxxxxxx:root"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*"
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": [
            "192.168.1.0",
            "192.168.1.1"
          ]
        }
      }
    }
  ]
}

Мій екземпляр EC2 має профіль екземпляра з arn:aws:iam::aws:policy/AmazonESFullAccess політикою. Logstash повинен підписувати запити, використовуючи вихідний плагін logstash-output-amazon-es . Logstash, що працює на моєму екземплярі EC2, включає такий вихідний розділ:

output {
    amazon_es {
        hosts => ["ELASTICSEARCH_HOST"]
        region => "AWS_REGION"
    }
    # If you need to do some testing & debugging, uncomment this line:
    # stdout { codec => rubydebug }
}

Я можу отримати доступ до Kibana з двох IP-адрес у політиці доступу (192.168.1.0 та 192.168.1.1).

Згідно з документом AWS, і як ви (і я) щойно перевірені, ви не можете обмежувати доступ до домену AWS ES роллю / акаунту / користувачеві / ... і просто CURL!

Стандартні клієнти, такі як curl, не можуть виконувати підписання запиту, що вимагається в основі політики доступу на основі ідентичності. Потрібно використовувати політику доступу на основі IP-адреси, яка дозволяє анонімному доступу успішно виконувати інструкції для цього кроку. ( http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-gsg-search.html )

Отже, у вас є два рішення:

• змінити політику доступу та обмежити її IP-адресами, я думаю, ви не можете використовувати приватний IP, оскільки ваш кластер ES, схоже, не належить до вашого VPC (за замовчуванням чи ні). Будь ласка, використовуйте загальнодоступну IP-адресу
• підпишіть свій запит: http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-managedomains.html#es-managedomains-signing-service-requests

Підписання запиту - це, мабуть, найкраще рішення, якщо ви хочете зберегти свою політику доступу такою, якою є (яка є більш гнучкою, ніж обмеження IP-адреси), але це здається трохи складнішим. Я до цього часу не пробував і не можу знайти жодного документа, який би допомог.

Трохи запізнився на вечірку, але мені вдалося впоратися з точно тим же питанням, додавши підписи до моїх запитів.

Якщо ви використовуєте Python (як і я), ви можете використовувати таку бібліотеку, щоб зробити його особливо легким у застосуванні: https://github.com/DavidMuller/aws-requests-auth

Це прекрасно працювало для мене.

Вам просто потрібно повне ім’я користувача в еластичній політиці пошуку.

У цьому випадку ви можете отримати своє повне ім’я користувача із самого повідомлення про помилку. У моєму випадку: "arn: aws: sts :: [ACCOUNT_ID]: присвоєна роль / [LAMBDA_POLICY_NAME] / [LAMBDA_NAME]"

    {
        "Version": "2012-10-17",
        "Statement": [
        {
          "Effect": "Allow",
          "Principal": {
            "AWS": [
              "arn:aws:sts::xxxxxxxxxxxx:assumed-role/[lambda-role]/[full-lambda-name]"
            ]
          },
          "Action": "es:*",
          "Resource": "arn:aws:es:[region]:xxxxxxxxxxxxx:domain/[elasticsearch-domain-name]/*"
        }
      ]

    }

Ви можете використовувати політику, що базується на ресурсах, або політику, що базується на ідентичності, а не політику, засновану на IP, що схоже на жорстке кодування IP-адреси.

Але вам потрібно використовувати підпис версії 4 для підписання запиту

Щодо реалізації Java, зверніться до http://mytechbites.blogspot.in/2017/04/secure-amazon-elastic-search-service.html

Роль ARN потрібно змінити. це буде виглядати як "arn: aws: iam :: [ACCOUNT_ID]: role / service-role / my_es_role"

Я також намагаюся це зробити, і я отримав це, працюючи за допомогою Allow access to the domain from specific IP(s)опції з Еластичним IP свого екземпляра EC2 (також може працювати з використанням приватного IP-адреси примірника, але я не надто впевнений)