文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html

- v, k" ?0 I- |# j& u. W一、项目需求
       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

+ d; U5 Z0 ?& t: J8 y
+ N* [+ _9 ~8 E2 q$ E. g5 T9 }二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。

' W3 E3 `/ J2 W' G) m
配置详见：http://www.52itstyle.top/thread-10764-1-1.html


, m( v$ e- m# Z1 Y4 A, p) A2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。
! L7 s& h9 U4 Z5 P5 _9 O

配置详见：http://www.52itstyle.top/thread-17263-1-1.html
3 C8 O' _, f& M
) b. W: A  M0 Z8 n9 Q
, r/ z4 O  L  }' @& J# }3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
8 n/ A0 s3 F* Z5 @
; f5 T$ O3 f8 |. b" n
% h  N/ {. N1 ]- ^7 p1 ], P: q- K2 ]  F4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。
4 H0 Q7 s9 @% _5 Z- b" [# D

  D- [1 y0 e$ T& v1 l& a5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。

$ O5 d- g7 K: S' O
2 y# b% ]4 S" m0 t3 n这里主要简单实现第三种方案(使用语言JAVA)：


, m& s9 i( X- x) m' r# c3 d9 Z新建客户端 用于上传
7 Q% \- j6 K. D6 K+ d- pHttpPostClient：

1. package com.itstyle.web;
   - b/ E7 ?) l( {$ {$ Y* ?* u( q
2. 
   
3. import java.io.File;
   
4. import java.io.IOException;
   2 O" u( g' q% l7 L* K% Z+ Q
5. 
   * s  Q: n: F5 }) b
6. import org.apache.http.HttpEntity;
   / j0 s% q8 G+ _( Q) L# J; H" `+ ]* l
7. import org.apache.http.HttpResponse;
   0 e! o# C) j1 B3 k- Y
8. import org.apache.http.HttpStatus;
   2 ]& x7 }, t) f2 s( c
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    % m/ Y& A4 w0 n8 o' g# H0 p+ X; o/ j
11. import org.apache.http.client.methods.HttpPost;
    
12. import org.apache.http.entity.mime.MultipartEntity;
    . H# v) O. I8 h  U8 p
13. import org.apache.http.entity.mime.content.FileBody;
    
14. import org.apache.http.entity.mime.content.StringBody;
    2 y  b- H) k& p, N9 d5 i
15. import org.apache.http.impl.client.DefaultHttpClient;
    : c3 k. o. e  `" s5 u2 a7 D/ @( ]
16. import org.apache.http.util.EntityUtils;
    
17. /**
    : f! D7 o4 T3 j" j' p- X
18. * 客服端
    % C( n" Z( G$ m9 I# i
19. * 创建者        张志朋
    " K. l9 h! O* O1 H
20. * 创建时间        2016年4月14日
    ) P& y) K8 r# K3 U$ T
21. * 科帮网 http://www.52itstyle.top
    
22. *
    
23. */
    + ~; v/ A$ C* |" E) K
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    ) P& o  n- n3 x7 M4 G
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
    4 O( W* u  T/ h' @9 U% H+ d
28. 
    3 F+ G2 G& l4 h" a. A
29.                 try {
    ( e# \4 N: X# v+ B5 B$ f) K
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    
34. 
    . e/ \1 p/ E) h" d9 ?0 b
35.                         StringBody comment = new StringBody(filename);
    
36. 
    
37.                         MultipartEntity reqEntity = new MultipartEntity();
    
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
      e3 n& T' R  h0 }4 f
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    
41. 
    , l- L" u' V8 b; k7 a
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    
44.                         int statusCode = response.getStatusLine().getStatusCode();
    $ M3 V& @: }, Y, N
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    $ F* f( C# B& x  J& h1 t
47. 
    9 u+ \/ u1 o2 N, L2 i- E
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    , @) |; n& b& v( l+ ?6 T) @
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    
53. 
    ! R+ v! w+ w6 \. i2 J6 J
54.                                 System.out.println(resEntity.getContent());
    # Y/ x+ ~+ g; e" I
55. 
    
56.                                 EntityUtils.consume(resEntity);
    % d% \0 Y' f9 d$ H; m! `
57.                         }
    - x4 F! ]! e: _* ~
58. 
    
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    3 ]' p# v1 X' v) [
62.                         e.printStackTrace();
    6 \( v, @$ H0 E5 C% C. a
63.                 } finally {
    ) e( `- j$ [! H% g2 \
64.                         try {
    
65.                                 httpclient.getConnectionManager().shutdown();
    + S" w" C% G1 }# ]. P, U* c- w
66.                         } catch (Exception ignore) {
    1 a9 w7 p" M2 A; o5 ^& M; h" e2 Z
67.                                 
    2 K- k$ Z6 Y5 f" P1 w0 \
68.                         }
    1 ^5 @7 `0 a+ \4 O( z7 ^
69.                 }
    
70.         }
    2 u8 K) w3 q/ e5 g: q) y- e
71.         /**
    , f7 H/ k# K8 S/ j" }
72.          * 自定义文件名称  和路径  win环境下测试
    
73.          * @param args
    * ?! f8 y. i/ b, s' f. H$ q2 j
74.          */
    
75.         public static void main(String[] args) {
    % }- ~) L6 q4 c" I" `
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    ' _9 z9 m& m2 }; t" o
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    
80. 
    

复制代码

! }' u, d1 o/ B' p" u( Y
( C# O+ n! R) U. C* |( W5 r6 D新建服务端 用于接收
$ ~4 e6 Z  F- B2 ], ?8 zHttpPostServer：
9 D( r, w; B( ^- y! {- P" Z/ a

1. package com.itstyle.web;
   ) X2 J6 M( Z9 k/ D/ W: n
2. 
   
3. import java.io.File;
   
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   7 t& j4 g9 v$ n& m. s/ Q0 v
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   7 W# E  R0 ~9 h: u# g9 W* y2 x; L1 G
10. import java.util.List;
    7 }+ s' T. N" T5 d/ o5 X) Q- N
11. 
    7 x$ n0 N7 V% H3 c  m/ z9 Y- q! t. m
12. import javax.servlet.ServletException;
    / [7 {+ e5 Z' v- u* P, U3 Q3 a
13. import javax.servlet.http.HttpServlet;
    % X# {; ^$ K( B; M* `
14. import javax.servlet.http.HttpServletRequest;
    & F3 W, j  ~9 |; E1 Z3 y/ Q
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    5 [, E  w) C" J" p8 o6 M
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    2 O; T" [. }0 F+ b( s4 o8 V
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    " v& A6 \5 v# l( `$ m$ }
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    
21. /**
    
22. * 服务端 接收文件
    . x) c) k' K2 V! o
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    8 \' B: l; O  ~/ ^: v5 p  Y9 F
25. * 科帮网 http://www.52itstyle.top
    
26. */
    
27. public class HttpPostServer extends HttpServlet {
      e5 T& D) U" a) D! p
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    8 Y4 B; U: r% L4 m) Z: Z
30.         @Override
    
31.         public void init() throws ServletException {
    
32. 
    4 m8 H% U; ~+ ]/ h/ n5 U2 z
33.         }
    
34. 
    2 z! L6 H" F2 m+ k
35.         @SuppressWarnings("unchecked")
    
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    $ v: t$ F7 @; ?; U& k# _7 n9 g
37.                         throws ServletException, IOException {
    9 a1 O6 M% n* ]6 S7 j- }  G( Q
38.                 PrintWriter out = null;
    
39.                
    
40.                 response.setContentType("text/html;charset=UTF-8");
    
41.         String basePath = "d://test1";
    
42.                 FileItemFactory factory = new DiskFileItemFactory();
    ' W( i, U- e" k: G
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    : m. p7 q* u" z2 ~5 J  r6 O
47.                 try {
    & [0 S) e4 K7 X1 Z* M4 n; R( t8 h0 c1 d
48.                         items = upload.parseRequest(request);
    - W5 ]4 o6 i# x/ R- L4 p) _. t
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
    % H9 F9 r% N& G# F7 d+ k
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    % u/ G- a3 e1 q
55.                         if (name != null && !("".equals(name))) {
    2 m2 I( a$ O: k5 r
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    ) e( c" {3 J7 D% d4 w5 A# ?- U
57.                                 directory = new File(basePath);
    3 W( u! q1 s/ D( D
58.                                 directory.mkdirs();
    6 s! s; l1 @' K+ s
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    / ]1 |: b. l$ F; \& R
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    $ K" ?; @3 M: ^+ w/ a. _* P* ]
62.                                 byte[] buffer = new byte[1024];
    0 M7 E, k% ^! ~9 T* o0 P
63.                                 while (is.read(buffer) > 0) {
    8 c  K3 m/ x4 c  h
64.                                         fos.write(buffer, 0, buffer.length);
      k5 `; x- ?6 z7 q
65.                                 }
    * e9 j$ ~+ |+ Z) X
66.                                 fos.flush();
    
67.                                 fos.close();
    1 O" ?5 t* H, ]7 m8 ^! v$ S+ n$ W8 S6 N
68.                         }
    / o8 w( H2 W, V8 E
69.                 }
    
70.                         }
    5 e( R+ Q' `0 \1 w
71.                         message = "{success:true, msg:'接收成功'}";
    % E/ M& l% F, M
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    ( H) d- N: o+ r" r% F% h' w
76.                         out = response.getWriter();
    $ P- L# s; e5 b. \6 B" k( D6 _
77.                         out.print(message);
    2 q$ W0 E/ e1 N$ _
78.                         out.close();
    , J/ ~/ u* Q5 i' M% \5 S4 S
79.                 }
    $ p. X! e! {7 d. x- X( \
80.         }
    ' z4 U6 b% b; q" l
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
    2 J& Q5 C. [: P5 k9 L  a
83.                 doGet(request, response);
    ( l( g- f* e$ A& ?
84.         }
    
85. }
    % u$ R# [5 ^) [3 M# J3 S
86. 
    . t$ j3 E- V( U, N7 b+ P5 j$ a

复制代码

2 Z* g- T( g5 V% c' J* F+ [所需要JAR包
commons-codec-1.6.jar
) W4 X  Z( l3 a" z2 n7 [  b' Ycommons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
) q. Y" q/ ]) o% P( s0 s: Lcommons-logging-1.1.1.jar
fluent-hc-4.2.jar
" y0 I6 W; u- R4 ~) C/ V/ v  bhttpclient-4.2.jar
) R" r" f/ T* s9 `httpclient-cache-4.2.jar
httpcore-4.2.jar
httpmime-4.2.jar

% f1 D# G/ c7 M项目下载地址：点击下载
' g& a4 r! B7 k) m9 e* E$ K

7 O" J' _; h# s* t密码：

游客，如果您要查看本帖隐藏内容请回复

; s8 O# N- D2 }( `* q
* h: [8 R: a1 h
6 D. I1 X8 u: v* Z
# H1 ?: @2 A0 G4 H( o
9 C8 s1 F' C" v3 w4 g6 y* m* @

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

( p/ P6 N: c; J4 r" b% [有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些