文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
' [5 e) r0 r! ], H$ o' D$ p2 L
1 `( `- N8 l0 N一、项目需求
# M" ^# }0 j" a7 u( k( q" `       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。
( _' ^$ \+ y+ K3 t4 q# L! b, E

2 t6 A! }. h4 i: h; z( J2 Y: ]
* q% Q- ?. N4 ~二、文件服务解决方案
) O  ]- S5 E  L! U6 u0 \/ ^1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
6 r1 i+ b& F/ q8 ^7 Z! z) ~

配置详见：http://www.52itstyle.top/thread-10764-1-1.html

3 S8 \! T, f. w9 I% C' w& S0 ^
2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。

% W& O+ ^0 Y( t4 p
配置详见：http://www.52itstyle.top/thread-17263-1-1.html
# H1 ~7 l, R; B3 a4 D+ ]( E

( X& X5 I5 F9 w* }3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
) m) M- p( S. J! H0 ]9 e

: ^* Q; R7 Q* H+ |4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。


5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
+ }, U' ?1 g0 J, v+ ?1 z* D$ U2 W

这里主要简单实现第三种方案(使用语言JAVA)：
0 B7 h( A" L# E5 {- ?
/ a- C+ [3 j+ w) Z, i0 a! W
新建客户端 用于上传
/ P/ M% H  o3 q. z/ b% t( C# _HttpPostClient：
: o; D! U; C$ R! Q% d$ ?( v

1. package com.itstyle.web;
   
2. 
   : h+ Z8 D2 D& F8 c3 o% c7 o
3. import java.io.File;
   
4. import java.io.IOException;
   * t7 u" E6 a, M  A, |! Y
5. 
   
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   8 V- h7 c5 J$ Q7 L  ?  y. u" d
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    7 q- R. J0 ^5 K" Q: E. A$ E
11. import org.apache.http.client.methods.HttpPost;
      v% J3 u# d+ X7 b& K! T/ A
12. import org.apache.http.entity.mime.MultipartEntity;
    + C6 w0 [$ ~$ q2 R/ Y/ [9 `$ I
13. import org.apache.http.entity.mime.content.FileBody;
    , X$ s' H+ D" l) |+ L' f1 T
14. import org.apache.http.entity.mime.content.StringBody;
    ' p; d: Z) E: _1 E; n1 ~5 C; o# m0 X
15. import org.apache.http.impl.client.DefaultHttpClient;
    4 L8 u! j- a$ K# |8 G8 e
16. import org.apache.http.util.EntityUtils;
    
17. /**
    0 ]/ ~5 i$ H* C8 ~0 s/ [* O! e
18. * 客服端
    0 X! A4 H4 ^# J$ C9 ], F
19. * 创建者        张志朋
    " M" t: r9 G( y( h) {
20. * 创建时间        2016年4月14日
    
21. * 科帮网 http://www.52itstyle.top
    
22. *
    
23. */
    
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    / ?& n( j% g0 g( j. m3 e
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
    
28. 
    2 q4 q2 f9 a+ Z4 o
29.                 try {
    1 L* V+ {1 X/ ]- n1 v6 Q8 v
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    + C' P' X* i8 r3 m
32. 
    $ q3 i" A+ I- F! [
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    : b" |$ F' h* [& o
34. 
    5 s" H. j. Y& ]1 w9 E
35.                         StringBody comment = new StringBody(filename);
    ) U% q7 z' r( U  D& Q, `) M
36. 
    8 ~) [5 ~8 u. J
37.                         MultipartEntity reqEntity = new MultipartEntity();
    " _& C, r% ]/ x! X6 ~
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    * M" L# `: H6 q. f8 h1 E5 P
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    
41. 
    5 I- U5 v* K3 r6 s  q7 |
42.                         HttpResponse response = httpclient.execute(httppost);
    5 D1 G5 p! n0 f3 p4 y& t
43. 
    8 x: h( x; X! w5 z/ J
44.                         int statusCode = response.getStatusLine().getStatusCode();
    0 J' x& G: X$ c
45. 
    + g; |3 ^# v7 o6 J
46.                         if (statusCode == HttpStatus.SC_OK) {
    6 r2 W  z& N! |2 ^4 l7 b
47. 
    ! J. h. b. P( R2 M3 k
48.                                 System.out.println("服务器正常响应.....");
    ! E# K. |+ ]5 b5 h/ P. _
49. 
    
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    3 s# \; `. t: R
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    & S( M3 M+ D7 a
53. 
    . M5 n: d4 s' j( t$ t
54.                                 System.out.println(resEntity.getContent());
    
55. 
    ( ^$ i- K0 m- ]- p8 G0 b( R
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    4 y9 u1 d$ D) `* g% _
58. 
    - S- G6 P3 w7 T2 ~
59.                 } catch (ParseException e) {
    5 }, O! L& G: f7 K& Q
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    ' U, g; Q* E7 V9 k( J9 C
62.                         e.printStackTrace();
    , Q! u7 s* r* \3 D3 ?3 A
63.                 } finally {
      F# c! v& @" R; Y. N
64.                         try {
    
65.                                 httpclient.getConnectionManager().shutdown();
    ; i: t9 m6 {! ~
66.                         } catch (Exception ignore) {
    % p4 k  @; Z: w( M3 F% X
67.                                 
    0 a" L+ ~$ L) X0 T7 J% G5 _8 \
68.                         }
    + h4 F1 b! O  s1 |7 d" G  c9 _
69.                 }
    
70.         }
    
71.         /**
    
72.          * 自定义文件名称  和路径  win环境下测试
    + W& a. p  |7 i
73.          * @param args
    
74.          */
      v: v8 H% u- ]7 H* V7 Y2 ~
75.         public static void main(String[] args) {
    2 R" ^- D1 w$ i. }, [. c
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    # q4 @' _: L' h$ j: X& y8 @6 h
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    : L" L; `: m1 I: g6 ^9 T1 m$ Z- h
79. }
    5 N% R) X8 A' q* |; i
80. 
    

复制代码

' O; w1 \3 z" m1 e

新建服务端 用于接收
HttpPostServer：

1. package com.itstyle.web;
   
2. 
   ( d* Y- F. D4 T1 p
3. import java.io.File;
   . z9 G. d' j- _( x& a* B+ Z) g0 F
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   
6. import java.io.InputStream;
   6 ]/ K% n- B' w7 a  r: ]7 Z6 `
7. import java.io.PrintWriter;
   
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   
10. import java.util.List;
    4 J% z: \) y" o' H6 y6 a
11. 
    ' J8 Q( l1 V: n
12. import javax.servlet.ServletException;
    & v3 A2 y1 v* l
13. import javax.servlet.http.HttpServlet;
    * l& r1 j9 ?& c) v4 J
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    " L7 S, M$ h6 h4 r9 r
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    ; ^: U3 T  R  h6 M
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    ( O9 E8 d/ J' R  B- A: _
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    ; r5 q' ]: p: d& l! g9 f; ?* e
21. /**
    6 O9 Q! V7 L4 J( h* G0 c
22. * 服务端 接收文件
    
23. * 创建者        张志朋
    9 a; [& G) b1 j7 ^7 R. _) K
24. * 创建时间        2016年4月14日
    
25. * 科帮网 http://www.52itstyle.top
    
26. */
    $ F; x: G% x& {/ Q
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    2 ]+ ]9 R3 h" @1 Y4 A
30.         @Override
    / X& u4 w$ v( u9 [# \! d
31.         public void init() throws ServletException {
    
32. 
    % r9 b% ~, I* Q5 v5 }! [
33.         }
    7 E! T8 |, ]' u- X6 \8 [
34. 
    
35.         @SuppressWarnings("unchecked")
    
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    
37.                         throws ServletException, IOException {
    ; ^9 t5 m3 i3 y  B, M
38.                 PrintWriter out = null;
    . ?4 f* |- [. ~: {7 u1 e0 h: ^
39.                
    
40.                 response.setContentType("text/html;charset=UTF-8");
    7 O7 g4 u0 H  B
41.         String basePath = "d://test1";
    6 i, R6 @7 k+ m  {7 n% S. P- D
42.                 FileItemFactory factory = new DiskFileItemFactory();
    $ \; t3 q8 `: a7 ]6 k3 L
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    ! p' L3 g; |  t( n. [+ l
45.                 List<FileItem> items = new ArrayList<FileItem>();
    5 P8 K" A- f7 ~
46.                 String message = "";
    
47.                 try {
    3 x3 U! R5 i. i* c: T
48.                         items = upload.parseRequest(request);
    ' ]5 M# X  }0 S5 u8 P
49.                         // 得到所有的文件
    . r4 Y9 H  q) Z" I
50.                         Iterator<FileItem> it = items.iterator();
    8 f- ?5 A8 s* m! n
51.                         while (it.hasNext()) {
    , U: v; Q) o/ Q7 L7 n! ?$ |
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    / P6 B7 o3 u6 |4 o: ]9 g+ H/ ~
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    3 K  E. _( x5 ]/ Y; D# \; N# e- Q
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
    
59.                                 String filePath = (basePath)  + File.separator + name;
    # W# b+ F- I0 b1 Z
60.                                 InputStream is = fItem.getInputStream();
    5 w. F# H( x0 a5 k% w+ C9 q
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    1 L: B0 R; g9 D7 s, M
62.                                 byte[] buffer = new byte[1024];
    
63.                                 while (is.read(buffer) > 0) {
    ! m: i' D2 y3 Y" X  j( w
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    7 o9 |* r' b; P
66.                                 fos.flush();
    
67.                                 fos.close();
    
68.                         }
      q/ e6 Q9 o! Z
69.                 }
    7 @& Z  W4 G+ b3 A; j1 X
70.                         }
    % g; }) |6 e  d; b9 q
71.                         message = "{success:true, msg:'接收成功'}";
    % M* C4 O# N2 P% O; H
72.                 } catch (Exception e) {
    " |5 O9 T' H6 b- q" }
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    " H: u' K0 R: c: b' U+ k6 J& Q( z
75.                 }finally{
    7 d, Z7 k/ ?" {/ s
76.                         out = response.getWriter();
    0 M4 s. U1 G! J" F1 Z
77.                         out.print(message);
    4 X. y3 V! m. m7 F  b
78.                         out.close();
    9 z: @4 F+ E) i1 d4 ^. j
79.                 }
    * t; O3 H. q$ J) B' `7 l8 f7 R
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    : I  A! q: |, |
82.                         throws ServletException, IOException {
    
83.                 doGet(request, response);
    
84.         }
    
85. }
    
86. 
    ' Z, I! d: F6 c- U) w8 Y- ]4 j# H: E

复制代码

所需要JAR包
7 ~+ c- h9 g* O" d7 h4 e4 icommons-codec-1.6.jar
0 K9 G, ~% ^& W  W5 pcommons-fileupload-1.2.1.jar
! e/ p" L4 W7 N2 o" B  Z0 @% y6 ocommons-io-1.3.2.jar
commons-logging-1.1.1.jar
# ?$ h. V! B! t! `; }0 B% }fluent-hc-4.2.jar
" X7 ]& v8 E: x: C  Ahttpclient-4.2.jar
httpclient-cache-4.2.jar
1 x1 h, @( G# G0 h0 o/ Qhttpcore-4.2.jar
httpmime-4.2.jar

( p* L% s- N" D1 {! N  V项目下载地址：点击下载
2 m; i5 v  t% D; X6 z( d. ]6 N+ p! h
1 F! L) r# f& X
' L& u: ?' o7 n/ W. O密码：

游客，如果您要查看本帖隐藏内容请回复

% M5 q0 B3 P. N8 G+ p! m$ o+ J


3 h: L% m2 ?+ A

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些