MPI，同步/异步，阻塞/非阻塞通讯，集合通信，Gather/Scatter

1. MPI

MPI(Message Passing Interface)是一种消息传递接口，是一个消息传递汉书库的标准说明。在基于MPI编程模型中，计算是由一个或多个彼此通过调用库函数进行消息收、发通信的进程所组成。MPI为程序员提供一个并行环境库，程序员通过调用MPI的库程序来达到程序员所要达到的并行目的。MPI(Message Passing Interface)是一种消息传递接