1. Golang
  2. Java

Java & Golang缓冲字节流测试(FastCopy)

Written by Posted on Less than 0 min read

一.Java

package fastCopy;

import java.io.*;

public class FastCopy {
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		String src = "a.rar";
		String dst = "b.rar";
		BufferedInputStream in = new BufferedInputStream(new FileInputStream(src));
		BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(dst));
		byte[] buffer = new byte[2048];
		int len = -1;
		long start = System.currentTimeMillis();
		
		while((len = in.read(buffer))!=-1) {
			out.write(buffer, 0, len);
		}
		
		long end = System.currentTimeMillis();
		System.out.println(end-start+"ms");
		in.close();
		out.close();
	}

}

700MB文件 1s内完成复制！

 

整个Java IO体系都是基于字符流(InputStream/OutputStream) 和 字节流(Reader/Writer)作为基类，根据不同的数据载体或功能派生出来的。

  • 文件流：FileInputStream/FileOutputStream， FileReader/FileWriter

这四个类是专门操作文件流的，用法高度相似，区别在于前面两个是操作字节流，后面两个是操作字符流。它们都会直接操作文件流，直接与OS底层交互。因此他们也被称为节点流。

注意使用这几个流的对象之后，需要关闭流对象，因为java垃圾回收器不会主动回收。不过在Java7之后，可以在 try() 括号中打开流，最后程序会自动关闭流对象，不再需要显示地close。

下面演示这四个流对象的基本用法，

  • 包装流：PrintStream/PrintWriter/Scanner

PrintStream可以封装（包装）直接与文件交互的节点流对象OutputStream, 使得编程人员可以忽略设备底层的差异，进行一致的IO操作。因此这种流也称为处理流或者包装流。

PrintWriter除了可以包装字节流OutputStream之外，还能包装字符流Writer

Scanner可以包装键盘输入，方便地将键盘输入的内容转换成我们想要的数据类型。

  • 字符串流：StringReader/StringWriter

这两个操作的是专门操作String字符串的流，其中StringReader能从String中方便地读取数据并保存到char数组，而StringWriter则将字符串类型的数据写入到StringBuffer中（因为String不可写）。

  • 转换流：InputStreamReader/OutputStreamReader

这两个类可以将字节流转换成字符流，被称为字节流与字符流之间的桥梁。我们经常在读取键盘输入(System.in)或网络通信的时候，需要使用这两个类

  • 缓冲流：BufferedReader/BufferedWriter ， BufferedInputStream/BufferedOutputStream

Oracle官方的描述：

Most of the examples we’ve seen so far use unbuffered I/O. This means each read or write request is handled directly by the underlying OS. This can make a program much less efficient.

Buffered input streams read data from a memory area known as a buffer; the native input API is called only when the buffer is empty. Similarly, buffered output streams write data to a buffer, and the native output API is called only when the buffer is full.

即，

没有经过Buffered处理的IO， 意味着每一次读和写的请求都会由OS底层直接处理，这会导致非常低效的问题。

经过Buffered处理过的输入流将会从一个buffer内存区域读取数据，本地API只会在buffer空了之后才会被调用（可能一次调用会填充很多数据进buffer）。

经过Buffered处理过的输出流将会把数据写入到buffer中，本地API只会在buffer满了之后才会被调用。

 

BufferedReader/BufferedWriter可以将字符流(Reader)包装成缓冲流，这是最常见用的做法。

另外，BufferedReader提供一个readLine()可以方便地读取一行，而FileInputStream和FileReader只能读取一个字节或者一个字符，

因此BufferedReader也被称为行读取器

 

总结上面几种流的应用场景：

  • FileInputStream/FileOutputStream  需要逐个字节处理原始二进制流的时候使用，效率低下
  • FileReader/FileWriter 需要组个字符处理的时候使用
  • StringReader/StringWriter 需要处理字符串的时候，可以将字符串保存为字符数组
  • PrintStream/PrintWriter 用来包装FileOutputStream 对象，方便直接将String字符串写入文件
  • Scanner　用来包装System.in流，很方便地将输入的String字符串转换成需要的数据类型
  • InputStreamReader/OutputStreamReader ,  字节和字符的转换桥梁，在网络通信或者处理键盘输入的时候用
  • BufferedReader/BufferedWriter ， BufferedInputStream/BufferedOutputStream ， 缓冲流用来包装字节流后者字符流，提升IO性能，BufferedReader还可以方便地读取一行，简化编程。

 

参考：https://www.cnblogs.com/fysola/p/6123947.html

 

二.Golang

package main

import (
	"bufio"
	"fmt"
	"io"
	"os"
	"time"
)

func main() {
        //记录开始时间
	start := time.Now().Unix()
	srcFile, err := os.Open("C:\\Users\\Michael Jiang\\Desktop\\头脑特工队.Inside.Out.2015.中英字幕.1080p.WEB-DL.DD5.1.H264.深影字幕组V3.mkv")
	if err != nil {
		fmt.Println("error:", err)
	}
	defer srcFile.Close()
	dstFile, err := os.OpenFile("C:\\Users\\Michael Jiang\\Desktop\\q.mkv", os.O_WRONLY|os.O_CREATE, 0666)
	if err != nil {
		fmt.Println("error:", err)
	}
	defer dstFile.Close()
	reader := bufio.NewReader(srcFile)
	writer := bufio.NewWriter(dstFile)
	_, err = io.Copy(writer, reader)
	if err != nil {
		fmt.Println("error:", err)
	} else {
		fmt.Println("copy succeed")
	}
        //记录结束时间
	end := time.Now().Unix()
	fmt.Printf("time total used: %v s\n", end-start)
}

/*
copy succeed
time total used: 9 s
Process exiting with code: 0
大概：500MBps
*/

 

Related articles

Next