Enriching x-forwarded-for field doesn't work in CloudFront Logs

[yoshiyama3]

Summary

v2.10.2 より clientip_xff によるエンリッチメント機能が追加されましたが、CloudFront ログに対応していないことを確認しました。

Details

• cloudfront-realtime と cloudfront-standard ログで clientip_xff が定義されていない
• user.ini へ設定を追加したところ、エンリッチ対象のフィールドの値が不適切な状態になった
  • 例）source.ip の値が trusted_proxy.db に含まれている、かつ x_forwarded_for が 203.0.113.3 の場合
    • 想定：source.ip の値が 203.0.113.3 に置き換わる
    • 実際：source.ip の値が 0.0.0.3 に置き換わる（より正確には 3）
      user.ini で追加した設定

clientip_xff = source.ip x_forwarded_for

Version

• siem-es-loader v2.10.2a

Cause of error

恐らく以下の点が原因

• ignore_malformed が true なため、不適な数値が入ってもそのまま取り込まれる
• CloudFront アクセスログ の x-forwarded-for フィールドについて形式が siem/xff.py で想定している形式と異なる
  • CloudFront 側では以下のような形式で出力されるが es-loader 上では str として処理されている
    • 203.0.113.3
    • 203.0.113.3,203.0.113.4