文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
7 l, u; S5 u% a5 N) t
# f: Y$ {9 o% D; S- b一、项目需求
       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

二、文件服务解决方案
+ i, Y8 v: q8 f7 r3 t, x1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
/ R; b) w! A7 p1 h
, K6 o% H7 Z  U( q
配置详见：http://www.52itstyle.top/thread-10764-1-1.html
4 z  F. c9 C, u3 \. z7 t
* y5 a$ T% ]+ Y; _2 x& k* B5 y
2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。

3 [2 W! c0 l7 F6 _* ?9 y
配置详见：http://www.52itstyle.top/thread-17263-1-1.html

* I( @( |. y2 v  q( r7 O/ N
3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
, s2 i9 n* h) T) W, O. O: ]8 `

' d1 M7 c' o4 c* x) D1 A! a4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。
' _7 N6 B5 Q- f) h( g  h+ o) j- Q
: p2 S- _4 u2 \
5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。

% b. |& g  P; a" a$ |! u: [: d3 n
" B, M  R8 s' X8 o7 N这里主要简单实现第三种方案(使用语言JAVA)：


! z- l: P& @  N新建客户端 用于上传
HttpPostClient：
, i' T3 E- ]/ I8 i: p7 P3 s# k6 j/ Q$ D4 V

1. package com.itstyle.web;
   3 n4 e& |2 u5 l$ i) J5 _$ H
2. 
   9 L/ I& f  A- N* f
3. import java.io.File;
   / t( _  K1 Q- Z: J' Q2 X
4. import java.io.IOException;
   . d$ ~! g5 {( y( O
5. 
   ( y* Q1 V# T; F" ]9 k" Q( U& p
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   4 N7 ?2 A3 Y* @* \) |
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    : ?. b9 L$ Q+ u# q) q) j
12. import org.apache.http.entity.mime.MultipartEntity;
    1 d; T" T  f; `0 x* D& x, p
13. import org.apache.http.entity.mime.content.FileBody;
    # r% v% D/ C8 v/ _  b+ `3 o1 G
14. import org.apache.http.entity.mime.content.StringBody;
    7 c$ B' X, D8 D9 `
15. import org.apache.http.impl.client.DefaultHttpClient;
    
16. import org.apache.http.util.EntityUtils;
    6 b9 W* M* Y( H# ?, M! v
17. /**
    
18. * 客服端
    
19. * 创建者        张志朋
    & S4 }) U9 O5 W+ \" G
20. * 创建时间        2016年4月14日
    
21. * 科帮网 http://www.52itstyle.top
    " X& n1 U+ j0 Q, m, W+ }
22. *
    
23. */
    
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    
26. 
    + q9 b8 w6 |. a4 d
27.                 HttpClient httpclient = new DefaultHttpClient();
    
28. 
    6 Y3 u0 O$ L! n- U
29.                 try {
    2 T% n5 _3 c0 |" U' n
30. 
    ! ]: G; O) d" P
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    $ e0 h3 z9 V4 j0 z2 f1 _, Q* m
34. 
    & F8 M+ S+ c) r: m
35.                         StringBody comment = new StringBody(filename);
    
36. 
    ) G. l4 G2 p3 I, @3 t0 `
37.                         MultipartEntity reqEntity = new MultipartEntity();
    
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    % }- |; ]* L% M
40.                         httppost.setEntity(reqEntity);
    
41. 
    ( S5 z- J$ y2 S5 G7 A
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    9 M3 J9 T6 f+ r
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    9 J* `/ ~8 [( ~/ k
46.                         if (statusCode == HttpStatus.SC_OK) {
    8 h# Q) s& M1 @2 g2 G. Y9 K2 K
47. 
    
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    % K- Z. ]+ \' Q3 a4 c" w# I$ S2 ?
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    7 l% Y5 E  \/ q; H+ C$ F
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    
53. 
    
54.                                 System.out.println(resEntity.getContent());
    
55. 
    
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    
58. 
    
59.                 } catch (ParseException e) {
    / o; p; b2 Q8 I6 B" L
60.                         e.printStackTrace();
    . Y5 Q6 F- d4 R; A
61.                 } catch (IOException e) {
    # K: y9 [7 ^& o' C/ g4 g
62.                         e.printStackTrace();
    
63.                 } finally {
    ( i8 f2 G2 M, a6 }; o- u
64.                         try {
      k0 B* R4 `6 ?$ h3 u
65.                                 httpclient.getConnectionManager().shutdown();
    
66.                         } catch (Exception ignore) {
    ; h4 X) D, @( H0 |
67.                                 
    
68.                         }
    
69.                 }
    
70.         }
    
71.         /**
    * V) Y: A6 a; M" Z
72.          * 自定义文件名称  和路径  win环境下测试
    7 w9 I% a* e2 n+ a- O
73.          * @param args
    
74.          */
    
75.         public static void main(String[] args) {
    
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    ! E9 i+ F. e5 [2 H$ n/ G
78.         }
    
79. }
    ; Z0 O7 T9 C  V1 L! U+ e
80. 
    

复制代码

* \+ r, w& v$ Z3 ]6 t

新建服务端 用于接收
HttpPostServer：

1. package com.itstyle.web;
   
2. 
   
3. import java.io.File;
   
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   + m+ y" f% P0 }& ]
8. import java.util.ArrayList;
   + ~6 |7 u  \0 p! |8 k% v
9. import java.util.Iterator;
   
10. import java.util.List;
    
11. 
    6 i1 F2 z+ J9 Z1 A, W% e) b( r
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    
14. import javax.servlet.http.HttpServletRequest;
    1 S. k( h8 v- {' j
15. import javax.servlet.http.HttpServletResponse;
    * k$ l" _8 l6 c( _
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    , P% j. }1 G8 L% r: j  |
21. /**
    / e" M7 d0 Z! k/ O- V
22. * 服务端 接收文件
    2 @* p7 e9 `( s, M5 r" b+ y+ H
23. * 创建者        张志朋
    5 D4 T2 [4 o0 j2 Z/ K
24. * 创建时间        2016年4月14日
    
25. * 科帮网 http://www.52itstyle.top
    
26. */
    6 ]" ], R9 H8 w+ j7 ^. R
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    3 R# r, l3 }1 F, W9 u
29. 
    ! W8 t2 i# q. J$ M5 N; L; E: o3 H7 z
30.         @Override
    ( I$ Y* t5 J( j& j8 j
31.         public void init() throws ServletException {
    
32. 
    3 k+ B6 T! e! Q$ D
33.         }
    ( A" T3 w( v2 S  `3 U4 H* [
34. 
    $ v6 j+ o5 A) m2 e2 A
35.         @SuppressWarnings("unchecked")
    ' ]3 L# |+ C" s( @1 B+ |
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    9 A- Y% U! y( Y" A7 s2 v+ g4 |
37.                         throws ServletException, IOException {
    
38.                 PrintWriter out = null;
    
39.                
    . ^4 q9 k$ S; ~
40.                 response.setContentType("text/html;charset=UTF-8");
    
41.         String basePath = "d://test1";
    5 e7 l2 f5 a. M& H0 Q' ~% Z
42.                 FileItemFactory factory = new DiskFileItemFactory();
    
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    ' a9 ?2 D  y  Y; `3 H" c' T
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    
47.                 try {
    
48.                         items = upload.parseRequest(request);
    
49.                         // 得到所有的文件
    & l2 C/ H6 S) v' K% q' N) j
50.                         Iterator<FileItem> it = items.iterator();
    7 Z  G1 ~8 c3 |9 h# a' g
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    . ]: E- u7 {( j3 d9 R/ D, _+ B
54.                         String name = fItem.getName();
    
55.                         if (name != null && !("".equals(name))) {
    * i7 K: `# g) S9 |1 M+ y( i
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    
57.                                 directory = new File(basePath);
    9 a. F1 R) R4 x$ R' E9 y* N* M
58.                                 directory.mkdirs();
    9 ~+ o7 y# F$ H+ e
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    
62.                                 byte[] buffer = new byte[1024];
      |6 }1 ?( R$ K/ f: V2 }# b
63.                                 while (is.read(buffer) > 0) {
    : s# S0 |4 m  ^
64.                                         fos.write(buffer, 0, buffer.length);
    & T, v) Y& [3 p" z' `3 e: ~2 L
65.                                 }
    
66.                                 fos.flush();
    
67.                                 fos.close();
    
68.                         }
    
69.                 }
    & R2 e3 ^- C* P; J' S3 k, j$ B
70.                         }
    
71.                         message = "{success:true, msg:'接收成功'}";
    ; I7 ]5 n, R7 A% h3 ^4 r3 x. ?
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    $ b1 Z% G  V+ R' b# g/ A
74.                         e.printStackTrace();
    . e, y% W6 X1 K+ D% y
75.                 }finally{
    ' x4 n+ w% _2 c" u
76.                         out = response.getWriter();
    
77.                         out.print(message);
    
78.                         out.close();
    # F) U5 O* c2 `
79.                 }
    : e6 r' u! _" q  e/ W6 Q9 \1 n
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    ! @$ x* `, Y3 ?' X% y4 X  y% o7 s
82.                         throws ServletException, IOException {
    
83.                 doGet(request, response);
    
84.         }
    3 i9 p- }  V, n0 |7 W
85. }
    $ L' z. e9 S  O9 N4 F$ @+ M
86. 
    

复制代码

* N# b) T  Z6 o1 |: d所需要JAR包
commons-codec-1.6.jar
+ \5 F. W" E& d: d/ }  S! V0 Fcommons-fileupload-1.2.1.jar
0 F9 U" C! r8 D$ r- b8 `7 [2 C* `commons-io-1.3.2.jar
- f9 O/ ~8 c* Ccommons-logging-1.1.1.jar
fluent-hc-4.2.jar
httpclient-4.2.jar
httpclient-cache-4.2.jar
6 _# p7 W* `: U" t$ K* k% t) Bhttpcore-4.2.jar
httpmime-4.2.jar

( ~! d1 Q7 n" A5 j9 e项目下载地址：点击下载
7 y9 q1 q3 G  e# A% z: b

& ^3 {2 Y# X  j- s- ]密码：

游客，如果您要查看本帖隐藏内容请回复

- n' i3 C  L: Q# m

( X# Z, Y" P* z

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些