文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
  n5 J6 Q1 m9 P# l* t- \2 i
一、项目需求
+ e% `/ [/ @7 R  Q8 C       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。
2 `) q) `, \9 R. u

% j) A/ _6 ^) C2 L+ U
二、文件服务解决方案
5 M% ?0 y! k1 O* ^. J) g( l1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。


/ {7 [, @5 s% m6 d# L配置详见：http://www.52itstyle.top/thread-10764-1-1.html

3 x/ V  i9 H# V- i: H6 N& L; M! n
5 D- O6 @$ k& E) i0 {2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。
0 F2 B) D& ~; [% D
; ^% {* K& k3 d2 _+ y" F" v
8 g3 Q, c8 ^# l! r- M& ~7 G配置详见：http://www.52itstyle.top/thread-17263-1-1.html
/ E8 P) s+ ^5 N6 X5 _8 v9 L: l

3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
* f' l: j0 o( w' u

4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。


6 D& u, l" O. D3 m% k2 E5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
: a8 D9 @4 H  ?! f* A" W7 C
5 @3 p! e7 n) W
$ ?5 e1 s! z9 {: z# c6 Z' _4 t* ?这里主要简单实现第三种方案(使用语言JAVA)：

7 Q8 K* U) @6 X6 h% D) m: ^
" J$ n4 Y! e* L) _新建客户端 用于上传
HttpPostClient：

1. package com.itstyle.web;
   5 v! H( }: f( t% ?4 f9 @
2. 
   
3. import java.io.File;
   
4. import java.io.IOException;
   
5. 
   , e: V8 B4 |; U5 D0 V- c3 E
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    & x6 k- L7 D& o- d' ]2 a
11. import org.apache.http.client.methods.HttpPost;
    4 ~; P0 S* }% t' m3 n* P9 T
12. import org.apache.http.entity.mime.MultipartEntity;
    
13. import org.apache.http.entity.mime.content.FileBody;
    
14. import org.apache.http.entity.mime.content.StringBody;
    
15. import org.apache.http.impl.client.DefaultHttpClient;
    
16. import org.apache.http.util.EntityUtils;
    
17. /**
    
18. * 客服端
    
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
    
21. * 科帮网 http://www.52itstyle.top
    
22. *
    ' Y+ \1 u- \. Z: y8 V5 y+ m& }
23. */
    # `' g, i# ^1 o6 V
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    
26. 
    5 `3 l$ N5 G, j$ R4 x' k2 a. f
27.                 HttpClient httpclient = new DefaultHttpClient();
    
28. 
    
29.                 try {
    
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    ! ]/ j1 @  n/ S
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    3 Q0 a2 F, s$ ]* |, h9 r" t
34. 
    ) g. r$ n7 h- Y+ W# U
35.                         StringBody comment = new StringBody(filename);
    1 m. y, b* f' Y! c! ?/ g. ?
36. 
    
37.                         MultipartEntity reqEntity = new MultipartEntity();
    ! S, {1 Q1 L, N/ l8 N
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    8 I7 G! v$ [+ f/ z' @2 x  Q
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    : ]  B2 M6 P& a; P2 \) Y8 O% n$ |
40.                         httppost.setEntity(reqEntity);
    
41. 
    
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    * ?" M. d4 P. j
48.                                 System.out.println("服务器正常响应.....");
    6 t% ?3 o8 T) i. J! x8 F
49. 
    " p2 a% I/ A) `! J( h
50.                                 HttpEntity resEntity = response.getEntity();
    0 I( s0 h/ D( q+ P, G. b. p% b1 r
51. 
    
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    ' f6 x1 q  Y8 l6 E1 o/ {9 X  k7 O( T
53. 
    / M7 t. c2 s$ n( k  l
54.                                 System.out.println(resEntity.getContent());
    
55. 
    : g3 m0 F5 |% P) E) g" M4 R
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    
58. 
    7 Y" f7 A1 j4 Z9 L" A
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    6 q% y; P- P  O1 E- t# J
62.                         e.printStackTrace();
    
63.                 } finally {
    : b+ U: E4 ]" K) T1 m, Q4 y
64.                         try {
    7 I. @5 Y5 G  Y
65.                                 httpclient.getConnectionManager().shutdown();
    
66.                         } catch (Exception ignore) {
    
67.                                 
    
68.                         }
    
69.                 }
    $ @# e  A: I5 H$ Q5 T5 {' E! Z
70.         }
    6 u; F# i8 ~) }" ^
71.         /**
    
72.          * 自定义文件名称  和路径  win环境下测试
    " ^' a5 E5 T- \. P  A5 {! z8 Q
73.          * @param args
    
74.          */
    4 D5 j  d0 A, c) i! Y( F
75.         public static void main(String[] args) {
    & ?* q+ E& E9 O/ X
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    ) |4 {9 I" h. O3 D$ H
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    
80. 
    

复制代码

' y; S6 o" C% i) ~1 ~
# \; b2 B2 u( _6 \1 t' L
新建服务端 用于接收
- c5 Y  Q. k  }: RHttpPostServer：

1. package com.itstyle.web;
   
2. 
   
3. import java.io.File;
   $ c% x7 [1 |4 M8 G7 |$ ~) X& z
4. import java.io.FileOutputStream;
     P' U5 k/ [! G. x7 [
5. import java.io.IOException;
   
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   + x9 [' h- e% U% f& l8 S% y
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   # ^* L( L* G& U/ N3 Z4 B, b8 [$ I8 Y
10. import java.util.List;
    1 L5 p8 _% @$ y3 A
11. 
    ; n% l* a- P( o' u2 w! z  N0 M
12. import javax.servlet.ServletException;
    & ?/ v6 S5 @9 Y3 \. }' r6 [5 F% s
13. import javax.servlet.http.HttpServlet;
    - {, q7 e3 J! i" I4 v: w
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    * f3 ^* ~, n! R- ]# o
17. import org.apache.commons.fileupload.FileItem;
    9 V4 O# J# a2 x, L  v; [% m$ G- c
18. import org.apache.commons.fileupload.FileItemFactory;
    ! Y8 K. P/ x5 M" q
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    + n$ C! Q) H5 u
21. /**
    7 S& U, G3 \" p' w! h' s0 Z. B+ {* x
22. * 服务端 接收文件
    
23. * 创建者        张志朋
    . b- E% U6 t/ x7 F+ w/ m9 T' \
24. * 创建时间        2016年4月14日
    5 A( E0 ~: Z( M+ o0 I& K% R
25. * 科帮网 http://www.52itstyle.top
    
26. */
    
27. public class HttpPostServer extends HttpServlet {
    / O% d  O! g! n: J) a
28.         private static final long serialVersionUID = -1002826847460469784L;
    $ U7 |- b2 P( y
29. 
    
30.         @Override
    . ?! D# Y5 r  L: E6 N' F
31.         public void init() throws ServletException {
    2 a* R* t2 b$ {' P9 J7 Z9 Z( u* _
32. 
    + X' J) M, L4 W% P9 P  d' ?8 f+ y3 L
33.         }
    5 w6 O9 }1 z6 N+ p# Y
34. 
    
35.         @SuppressWarnings("unchecked")
    9 ~6 h$ |" {. L3 N. o8 K) I3 u
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    $ X2 ~4 N6 g( L0 ]1 l8 D
37.                         throws ServletException, IOException {
    , X4 f+ G9 a& B; q' u% R' c5 x
38.                 PrintWriter out = null;
      S8 I7 U( c2 u" @4 c9 e
39.                
    
40.                 response.setContentType("text/html;charset=UTF-8");
    5 `8 p* r/ G( n. j( V% J6 }& b, T
41.         String basePath = "d://test1";
    - K3 w% O2 F3 b+ G* i% X
42.                 FileItemFactory factory = new DiskFileItemFactory();
    # b5 w* @, X. [# h, c
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    9 q& n  h! b% w' H* j; V
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    . _  K8 m( W: x/ n" J8 E. t( {
46.                 String message = "";
    3 j  T* F: ?- N/ z: |
47.                 try {
    # V- \1 @' r8 {" u. j" e$ o4 A+ f
48.                         items = upload.parseRequest(request);
    1 q1 O$ Y$ ~" H% z8 R( {
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
      j: K8 c& d1 H' S. H4 @
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    0 o8 y0 a3 d* b7 b, A( u
55.                         if (name != null && !("".equals(name))) {
    + e- V. T7 K) X+ D5 |' v3 _
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    ) k' G- r$ m3 p  b( V
57.                                 directory = new File(basePath);
      q: W8 t5 a! G" F2 l% ?; `9 _5 t; @
58.                                 directory.mkdirs();
    ! m! S( @$ x' [5 }. p$ f' l  m
59.                                 String filePath = (basePath)  + File.separator + name;
    ' h3 n2 t( ~0 o; a6 [/ X
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    * ~5 T! i5 J7 |# j
62.                                 byte[] buffer = new byte[1024];
    5 U) Q% ~2 u0 a# h6 F/ I
63.                                 while (is.read(buffer) > 0) {
    5 }, x" S# c2 a
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    
66.                                 fos.flush();
    2 e" _" H4 Q: }+ O/ _
67.                                 fos.close();
    
68.                         }
    
69.                 }
    
70.                         }
    " U; V& Y! P8 |6 D  t6 @
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    8 `- Q* T9 Z2 {$ \& n! Q4 N# B  L
76.                         out = response.getWriter();
    - Q" x( i$ l- H
77.                         out.print(message);
    ! c' n- ~4 ]' @3 u$ X
78.                         out.close();
    : t0 C) D3 V% E) z
79.                 }
    
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    ) [7 Q% ?/ x  K
82.                         throws ServletException, IOException {
    ; Q. @8 T* D- l2 ]
83.                 doGet(request, response);
    
84.         }
    
85. }
    % W3 I% k( e# R& ?
86. 
    

复制代码

所需要JAR包
commons-codec-1.6.jar
commons-fileupload-1.2.1.jar
" q/ L( o2 f9 S+ M4 o- o& _/ zcommons-io-1.3.2.jar
3 Z3 K8 i( F, P& qcommons-logging-1.1.1.jar
fluent-hc-4.2.jar
httpclient-4.2.jar
httpclient-cache-4.2.jar
4 l7 h; W  S1 s/ H) Q5 ~httpcore-4.2.jar
httpmime-4.2.jar

项目下载地址：点击下载
" |+ t- A# c6 s9 S

, t5 J/ }/ h2 c; U4 \0 X密码：

游客，如果您要查看本帖隐藏内容请回复

$ c% y* B8 x) I: k- F: R: Z


, j! r( R5 f; X' N: R, M# Y
, u1 _  B9 v9 f3 y% f" Y7 u

peng13661

感谢了楼主分享，多学习多交流

cndaijin

谢谢分享                                    

fanshuai1111

虽然还不太懂不过可以多看看

初来咋到

666666666666666
, \, M) e' d% G/ Z  A3 c' Q) F
9 S: ^- k! R- M7 T+ G8 ~+ g1 H" I3 b

泡沫

好好学习，天天向上

星书雨

看看。。。。。。顶，

措辞

我想要下载呢

zrszrs

嘻嘻嘻，谢谢

onlymyme

不错，谢谢分线

欣不在焉

谢谢分享搜索