aws s3存储类型 (aws s3)

awss3知识点,awss3存储类型

概述

在前面的文章中,我们实践过AWS S3如何实现跨区域复制(CRR),将对象从一个region的存储桶复制到另一个region的存储桶。今天来实践一下对于S3事件通知的操作。

S3提供了事件通知功能,可以在存储桶发生某些事件时接收通知。本次实践的目标有两个,一是当存储桶上传新对象时发送电子邮件提醒,二是当存储桶上传图片时进行大小缩放。

awss3知识点,awss3存储类型

实践1 存储桶上传新对象时发送邮件提醒

这个操作比较简单,S3+SNS即可实现,基本流程如下:

步骤1 创建存储桶

在aws S3控制台上创建一个存储桶xytempbucket(位于欧洲巴黎region),如图1所示

awss3知识点,awss3存储类型

图1

步骤2 创建SNS通知

在SNS控制台创建一个通知主题xuyisnstopicmail,如图2所示

awss3知识点,awss3存储类型

图2

注意,在这个主题中需要明确其访问策略,如图3所示

awss3知识点,awss3存储类型

图3

策略主要明确SNS主题名称和aws 存储桶的名称(分别用蓝色标明)。

至此,主题的发布完成,接下来需要订阅该主题。主题界面中点击"创建订阅",开始配置订阅,在"主题ARN"中把上一步发布的主题ARN填进去即可,在"协议"中选择"电子邮件",在"终端节点"中填入email接收地址,点击"创建订阅"即可,如图4所示

awss3知识点,awss3存储类型

图4

此时,只是进行了订阅主题的操作,还没有生效,AWS会发送一封电子邮件至图中所填邮箱,需要据此点击确认对主题的订阅。如图5所示

awss3知识点,awss3存储类型

图5

根据邮件提示操作即可确认订阅成功。

步骤3 在存储桶上配置事件,启用存储桶通知

回到S3控制台,在所选的存储桶->属性->事件栏点击"添加通知",如图6所示

awss3知识点,awss3存储类型

图6

选择一个合适的事件名称,注意:1)事件类型可能存在一定的冲突而报错,根据需要选择,多试几次(我勾选put和post);2)SNS主题填入前面所创建的主题ARN即可。

步骤4 验证

至此,配置完毕,现在开始验证。在配置之前存储桶中已经存在了7个图片(screen-shot1~screen-shot7),现在从控制台再上传一张xytestpng.png的图片,如图7所示

awss3知识点,awss3存储类型

图7

图片上传成功之后,随即qq邮箱传来邮件提醒,查看邮箱,如图8所示

awss3知识点,awss3存储类型

图8

注意:邮件通知的时间可能有一定的延时,不确定。

至此,实践1完毕。(非常简单,在控制台点击即可完成。)

实践2 存储桶上传图片进行缩放

整体流程:将图片上传到源存储桶,通过事件触发lambda函数,lambda获取上传的图片进行缩放处理,再将处理完成的图片存入到目标存储桶。如图9所示:

awss3知识点,awss3存储类型

图9

步骤1 创建存储桶

在S3控制台创建存储桶,需要创建两个存储桶,一个是源存储桶xytempbucket,一个是目标存储桶xytempbucketresized(创建过程省略),区域为欧洲巴黎。如图10所示

awss3知识点,awss3存储类型

步骤2 创建策略

IAM控制台->创建策略,将以下内容复制到json编辑框中,即可生成。

awss3知识点,awss3存储类型

图11

注意:其中的源存储桶和目标存储桶要使用自己实际的存储桶ARN。

步骤3 创建角色

策略创建完成后,切换到IAM控制台,创建角色。

awss3知识点,awss3存储类型

图12

创建由lambda服务使用的角色,如图12所示,并将步骤2中创建的策略附加到该角色上,如图13、图14所示。

awss3知识点,awss3存储类型

图13

awss3知识点,awss3存储类型

图14

步骤4 创建lambda函数

切换到lambda控制台,创建函数->从头开始创作,填写函数名称,和语音信息,如图15所示

awss3知识点,awss3存储类型

图15

注意区域要与S3中存储桶的区域一致,选欧洲巴黎。

继续,可以再次添加函数的触发器(也可以暂时不添加,而去S3存储桶的事件属性里添加触发lambda,同样的效果),这里选择S3触发,需要选择源存储桶,事件类型选择put,如图16所示

awss3知识点,awss3存储类型

图16

点击"添加"即成功添加了lambda函数的触发器。再编辑lambda函数代码,将下面代码复制进去

 var AWS = require("aws-sdk");
 var IM = require(’imagemagick’);
 var FS = require(’fs’);
 var compressedJpegFileQuality = 0.80;
 var compressedPngFileQuality = 0.95;
 
 exports.handler = (event, context, callback) => {
 var s3 = new AWS.S3();
 var sourceBucket = "xytempbucket";
 var destinationBucket = "xytempbucketresized";
 var objectKey = event.Records[0].s3.object.key;
 var getObjectParams = {
 Bucket: sourceBucket,
 Key: objectKey
 };
 s3.getObject(getObjectParams, function(err, data) {
 if (err) {
 console.log(err, err.stack);
 } else {
 console.log("S3 object retrieval get successful.");
 var path = require(’path’);
 var tmpname = path.basename(objectKey);
 var resizedFileName = "/tmp/"+tmpname;
 var quality;
 if (resizedFileName.toLowerCase().includes("png")){
 quality = compressedPngFileQuality;
 }
 else {
 quality = compressedJpegFileQuality;
 }
 var resize_req = { width:"100%", height:"100%", srcData:data.Body, dstPath: resizedFileName, quality: quality, progressive: true, strip: true };
 IM.resize(resize_req, function(err, stdout) {
 if (err) {
 throw err;
 }
 console.log(’stdout:’, stdout);
 var content = new Buffer(FS.readFileSync(resizedFileName));
 var uploadParams = { Bucket: destinationBucket, Key: objectKey, Body: content, ContentType: data.ContentType, StorageClass: "STANDARD" };
 s3.upload(uploadParams, function(err, data) {
 if (err) {
 console.log(err, err.stack);
 } else{
 console.log("S3 compressed object upload successful.");
 }
 });
 });
 }
 });
 };

注意:代码中的sourceBucket和 destinationBucket需要填写步骤1中相应的桶名称。

如图17所示:

awss3知识点,awss3存储类型

图17

并选择运行环境,这里是"Node.js6.10",处理程序名称为"index.handler",如图18所示

awss3知识点,awss3存储类型

图18

下面继续配置执行角色,选择"现有角色",选择步骤3中创建的角色,另外可能还需要配置超时时间和内存大小,一般默认即可,后面根据函数执行情况可以再调整。如图19所示:

awss3知识点,awss3存储类型

图19

我们现在可以切回到S3控制台,在源存储桶xytempbucket中的事件属性里可以看到刚刚配置过的触发器,如图20所示

awss3知识点,awss3存储类型

图20

注意:

· 1 如果此前没有配置触发器,则现在源存储桶的事件里配置即可。

· 2 一个存储桶上的事件通知如果重复配置的时候可能会报错,所以触发器配置不成功的时候先看看该存储桶是否有重复配置。

至此,所以配置完毕。

步骤5 验证

向源存储桶分别上传文件girl.jpg、woman.jpg、woman.png、xytestpng.png四张图片,且大小不一(其他图片是此前上传的,不予考虑),如图21所示

awss3知识点,awss3存储类型

图21

考虑到图片的*载下**上传以及缩放处理都需要时间,等了大约1分多钟再去查看目标存储桶xytempbucketresized,结果如图22所示

awss3知识点,awss3存储类型

图22

可以看到woman000.png图片没有缩放成功,原因未知(因为代码是从网上*载下**,故此不分析具体原因),其他图片都有一定程度的缩放(从图片大小既能看出来)。

注意:测试的时候是一张一张图片上传进行测试,没有考虑同时上传多张图片这样的场景,因为本次实践的目的是将整个流程走一遍,至于缩放失败的原因可能还跟内存、超时时间等配置有关。

awss3知识点,awss3存储类型