Java基础
JavaWeb
Spring
MyBatis
linux
消息队列
工具
片段
面试
搜索
文件存储解决方案-云存储阿里 OSS
文件存储解决方案-云存储阿里 OSS
1.文件存储（上传）解决方案讨论
1.图解
- 文件存储解决方案-云存储阿里 OSS
解读上图
- 普通上传并不是分布式，也不是集群，可用性不高
- 普通上传的分布式情况，使用了集群，但是当把文件存储在集群中的某台服务器，当下次读取时，因为负载均衡，存在读取不到的文件问题
- 应用服务器使用集群，文件存储通过网关提供统一接口来存储文件，可用性高
3.1 方案 1: 自建服务器，成本高, 也存在技术瓶颈
3.2 方案 2: 使用云存储产品(阿里云等), 是企业优选方案
2.对应 分布式 微服务 架构分析
2.阿里云对象存储介绍
1.官网
https://www.aliyun.com/product/oss
2.说明
阿里云对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供数据高可用性, 多种存储类型供选择，全面优化存储成本
3.上传方式
1.普通上传方式
1.阿里云对象存储-普通上传示意图
2.分析
- 上传慢：用户数据需先上传到应用服务器，之后再上传到OSS。网络传输时间比直传到OSS多一倍。如果用户数据不通过应用服务器中转，而是直传到OSS，速度将大大提升。
- 扩展性差：如果后续用户多了，应用服务器会成为瓶颈。
- 费用高：需要准备多台应用服务器。由于OSS上传流量是免费的，如果数据直传到OSS，
不通过应用服务器，那么将能省下几台应用服务器
2.服务端签名后直传
1.阿里云对象存储-服务端签名后直传示意图
2.分析
- Web端向服务端请求签名，然后直接上传，不会对服务端产生压力，而且安全可靠。
- 但服务端无法实时了解用户上传了多少文件，上传了什么文件。如果想实时了解用户
上传了什么文件，可以采用服务端签名直传并设置上传回调
3.准备工作
1.注册一个阿里云账号，并完成认证
2.阿里云地址：https://www.aliyun.com/
3.创建阿里云对象 Bucket 创建并测试
4.创建 RAM 用户(访问控制 RAM（Resource Access Management）是阿里云提供的一项管理用户身份与资源访问权限的服务), 得到 accessKeyId 和 accessKeySecret (可以理解成是阿里云子用户的 id 和密码)
具体步骤可以参考：https://llinp.cn/articles/2022/01/02/1641105914205.html
5.将得到 endpoint ， accessKeyId , accessKeySecret 填写到代码中, 并指定要上传的文
件路径, 阿里云哪个 Bucket 和上传后的文件名是什么
4.使用原生 SDK,上传文件到阿里云对象 Bucket
参考阿里云官方文档 https://help.aliyun.com/document_detail/84781.html#p-yqj-z1w-rl2
，这里我使用的是简单上传-上传文件流的方式。
1.创建一个boot项目引入依赖
<dependency>
<groupId>com.aliyun.oss</groupId>
<artifactId>aliyun-sdk-oss</artifactId>
<version>3.5.0</version>
</dependency>
2.编写如下一个测试类，进行测试。
@RestController
public class TestController {
@RequestMapping("/test")
public R test() {
// Endpoint以华东1（杭州）为例，其它Region请按实际情况填写。
String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
// 阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维，请登录RAM控制台创建RAM用户。
String accessKeyId = "你的accessKeyId";
String accessKeySecret = "你的accessKeySecret";
// 填写Bucket名称，例如examplebucket。
String bucketName = "你的bucketName";
// 上传文件名 填写Object完整路径，完整路径中不能包含Bucket名称，例如exampledir/exampleobject.txt。
String objectName = "12.jpg";
// 填写本地文件的完整路径，例如D:\\localpath\\examplefile.txt。
// 如果未指定本地路径，则默认从示例程序所属项目对应本地路径中上传文件流。
String filePath = "C:\\Users\\llp\\Desktop\\solo-fetchupload-7208404724819002506-m0Dvrtu.jpg";
// 创建OSSClient实例。
OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
try {
//文件输入流
InputStream inputStream = new FileInputStream(filePath);
// 创建PutObject请求。 将文件流写入到objectName文件中
ossClient.putObject(bucketName, objectName, inputStream);
} catch (OSSException oe) {
System.out.println("Caught an OSSException, which means your request made it to OSS, "
+ "but was rejected with an error response for some reason.");
System.out.println("Error Message:" + oe.getErrorMessage());
System.out.println("Error Code:" + oe.getErrorCode());
System.out.println("Request ID:" + oe.getRequestId());
System.out.println("Host ID:" + oe.getHostId());
} catch (ClientException ce) {
System.out.println("Caught an ClientException, which means the client encountered "
+ "a serious internal problem while trying to communicate with OSS, "
+ "such as not being able to access the network.");
System.out.println("Error Message:" + ce.getMessage());
} catch (FileNotFoundException e) {
e.printStackTrace();
} finally {
if (ossClient != null) {
ossClient.shutdown();
}
}
return R.ok();
}
}
可以看到文件已经上传到阿里云oss服务器上了
5.使用 SpringCloud Alibaba OSS 传文件到阿里云对象 Bucket
1.引入依赖
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alicloud-oss</artifactId>
<version>2.1.0.RELEASE</version>
</dependency>
2.编写yaml
spring:
datasource:
username: root
password: root
url: jdbc:mysql://192.168.56.100:3306/llpliving_commodity?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
driver-class-name: com.mysql.jdbc.Driver
cloud:
alicloud:
oss:
endpoint: 参考创建bucket时选择的归属区域
access-key: 你的keyId
secret-key: 你的keySecret
bucket-name: 你的bucketName
3.编写测试类
@Resource
private OSSClient ossClient;
@Value("${spring.cloud.alicloud.bucket-name}")
private String bucketName;
//上传指定的文件到bucket
@RequestMapping("/test2")
public R test2() throws FileNotFoundException {
String filePath = "C:\\Users\\asus\\Desktop\\solo-fetchupload-7208404724819002506-m0Dvrtu.jpg";
String objectName = "13.jpg";
InputStream inputStream = new FileInputStream(filePath);
ossClient.putObject(bucketName, objectName, inputStream);
ossClient.shutdown();
return R.ok();
}
6.完成服务端签名后直传
1.文档
https://help.aliyun.com/document_detail/31926.html
2.代码示例
https://help.aliyun.com/document_detail/91868.htm
3.代码+配置实现
1.引入依赖
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alicloud-oss</artifactId>
<version>2.1.0.RELEASE</version>
</dependency>
2.编写yaml
server:
port: 7070
spring:
cloud:
alicloud:
oss:
endpoint: oss-cn-chengdu.hangzhou.com
access-key: 你的accessKey
secret-key: 你的secretKey
bucket-name: 你的bucketName
3.配置类，从yaml配置文件中读取配置信息
@Data
@Component
@ConfigurationProperties("spring.cloud.alicloud")
public class OssProperties implements InitializingBean {
@Value("${spring.cloud.alicloud.oss.endpoint}")
private String endpoint;
private String accessKey;
private String secretKey;
private String bucketName;
public static String ENDPOINT;
public static String KEY_ID;
public static String KEY_SECRET;
public static String BUCKET_NAME;
@Override
public void afterPropertiesSet() throws Exception {
this.ENDPOINT = endpoint;
this.KEY_ID = accessKey;
this.KEY_SECRET = secretKey;
this.BUCKET_NAME = bucketName;
this.ENDPOINT = endpoint;
}
}
4.编写测试类
@RestController
public class OssServiceController {
//提示：这里的注入方式是 OSS 接口注入, 不要写成实现类了
@Resource
private OSS ossClient;
/**
* 获取文件上传签名/授权
* 这段代码从阿里云示例文档拷贝, 并做修改，去掉暂时不用的代码
*
* @return
*/
@RequestMapping("/oss/policy")
public R policy() {
// 填写Host地址，格式为https://bucketname.endpoint。
String host = "https://" + OssProperties.BUCKET_NAME + "." + OssProperties.ENDPOINT;
// 设置上传到OSS文件的前缀，可置空此项。置空后，文件将上传至Bucket的根目录下。
// 我们可以将文件按照 年-月-日的形式分目录存放在阿里云
String format = new SimpleDateFormat("yyyy/MM/dd").format(new Date());
// 用户上传文件时指定的前缀。
String dir = format + "/";
// 创建ossClient实例。
OSS ossClient = new OSSClientBuilder().build(OssProperties.ENDPOINT, OssProperties.KEY_ID, OssProperties.KEY_SECRET);
Map<String, String> respMap = null;
try {
long expireTime = 30;
long expireEndTime = System.currentTimeMillis() + expireTime * 1000;
Date expiration = new Date(expireEndTime);
PolicyConditions policyConds = new PolicyConditions();
policyConds.addConditionItem(PolicyConditions.COND_CONTENT_LENGTH_RANGE, 0, 1048576000);
policyConds.addConditionItem(MatchMode.StartWith, PolicyConditions.COND_KEY, dir);
String postPolicy = ossClient.generatePostPolicy(expiration, policyConds);
byte[] binaryData = postPolicy.getBytes("utf-8");
String encodedPolicy = BinaryUtil.toBase64String(binaryData);
String postSignature = ossClient.calculatePostSignature(postPolicy);
respMap = new LinkedHashMap<String, String>();
respMap.put("accessId", OssProperties.KEY_ID);
respMap.put("policy", encodedPolicy);
respMap.put("signature", postSignature);
respMap.put("dir", dir);
respMap.put("host", host);
respMap.put("expire", String.valueOf(expireEndTime / 1000));
// respMap.put("expire", formatISO8601Date(expiration));
} catch (Exception e) {
// Assert.fail(e.getMessage());
System.out.println(e.getMessage());
}
return R.ok().put("data", respMap);
}
}
5.测试
浏览器: http://localhost:7070/oss/policy
6.前端拿到policy凭证之后，通过policy直接上传到阿里云
import http from '@/utils/httpRequest.js'
export function policy() {
return new Promise((resolve,reject)=>{
http({
//url: http.adornUrl("/oss/policy"),
url: "http://localhost:7070/oss/policy",
method: "get",
params: http.adornParams({})
}).then(({ data }) => {
resolve(data);
})
});
}
7.前端拿到policy直接进行上传会存在跨域问题
8.解决阿里云跨域问题, 设置跨域
数据安全-跨域设置
9.再次上传，依然存在问题
10.再次上传，上传成功
