AWS S3 对象存储最佳实践：安全、性能与成本优化

# AWS S3 对象存储最佳实践 ## 一、存储类别选择 | 类别 | 适用场景 | 费用（GB/月） | |------|---------|-------------| | Standard | 频繁访问 | $0.023 | | IA (Infrequent Access) | 偶尔访问 | $0.0125 | | Glacier Instant | 归档，毫秒级访问 | $0.004 | | Glacier Deep Archive | 长期归档 | $0.00099 | ## 二、生命周期策略 ```json { "Rules": [ { "ID": "ArchiveOldLogs", "Status": "Enabled", "Filter": {"Prefix": "logs/"}, "Transitions": [ { "Days": 30, "StorageClass": "STANDARD_IA" }, { "Days": 90, "StorageClass": "GLACIER" } ], "Expiration": {"Days": 365} } ] } ``` ## 三、安全策略 ```python import boto3 s3 = boto3.client('s3') # 1. 阻止公开访问 s3.put_public_access_block( Bucket='my-bucket', PublicAccessBlockConfiguration={ 'BlockPublicAcls': True, 'IgnorePublicAcls': True, 'BlockPublicPolicy': True, 'RestrictPublicBuckets': True, } ) # 2. 生成预签名 URL（临时访问） url = s3.generate_presigned_url( 'get_object', Params={'Bucket': 'my-bucket', 'Key': 'private/report.pdf'}, ExpiresIn=3600, # 1 小时有效 ) print('Download URL: {}'.format(url)) # 3. 服务端加密 s3.put_object( Bucket='my-bucket', Key='sensitive/data.json', Body=json.dumps(data), ServerSideEncryption='aws:kms', SSEKMSKeyId='arn:aws:kms:region:account:key/key-id', ) ``` ## 四、上传优化 ```python from boto3.s3.transfer import TransferConfig config = TransferConfig( multipart_threshold=8 * 1024 * 1024, # 8MB 以上用分片 max_concurrency=10, # 并发线程数 multipart_chunksize=8 * 1024 * 1024, # 每片 8MB ) s3.upload_file( 'large-file.zip', 'my-bucket', 'uploads/large-file.zip', Config=config, Callback=lambda bytes_transferred: print('Uploaded: {} bytes'.format(bytes_transferred)), ) ``` ## 五、S3 Transfer Acceleration ```bash # 开启传输加速 aws s3api put-bucket-accelerate-configuration \ --bucket my-bucket \ --accelerate-configuration Status=Enabled # 使用加速端点 # my-bucket.s3-accelerate.amazonaws.com ``` 对于跨区域传输，加速端点可提升 50-500% 的上传速度。 ## 六、成本优化清单 1. 启用 S3 Intelligent-Tiering 自动迁移不常用对象 2. 配置生命周期策略清理过期数据 3. 使用 S3 Storage Lens 分析存储使用模式 4. 开启 S3 请求日志定位高频访问对象 5. 大文件用分片上传，小文件合并后上传 ## 七、事件通知 ```json { "LambdaFunctionConfigurations": [ { "Events": ["s3:ObjectCreated:*"], "Filter": { "Key": { "FilterRules": [ {"Name": "prefix", "Value": "uploads/"}, {"Name": "suffix", "Value": ".jpg"} ] } }, "LambdaFunctionArn": "arn:aws:lambda:region:account:function:resize-image" } ] } ``` 上传图片时自动触发 Lambda 生成缩略图，非常适合图片处理流水线。