外篇  MOSIX集群系统   加入书签
章节字数:5406
滚屏速度: 保存设置 开始滚屏

    集群系统的各组成部分经常要互相通讯,MOSIX提供了一个连接层抽象(linkerlayer),在套接字接口之上使用TCP/UDP协议进行通信。
    作为一个集群系统,节点之间要经常合作,不时的散布和收集负载信息,获取其它节点的情况。另外,我们也已经看到,在MOSIX中,一个迁移进程实际上是由deputy和remote两部分组成的。Deputy和remote是两个单独的进程,分别位于不同的节点,但在逻辑上,它们却是看出一个独立的进程的。它们之间经常要通过频繁的通讯来合作。因此,通信机制是至关重要的。MOSIX提供了一个连接层抽象(linkerlayer),在套接字接口之上封装了一层,提供了一系列类似BSDSOCKET的接口函数用于在进程间接收和发送MOSIX相关数据的。MOSIX连接是位于内核中的,对用户态进程是不可见的。
    作为一个集群系统,MOSIX中的每个节点都被分配一个唯一的节点号,节点号是一个整型值,从1开始连续分配的。0表示的是当前节点。通过节点号抽象,可以很方便的定位某个节点。但是通过网络发送和接收数据,都是以IP地址来寻找节点的。因此,MOSIX系统提供了一系列函数用于在节点号和IP地址间的互相转换和匹配。每个节点在/etc/目录下都存在着一个配置文件mosix。map,保存着整个集群系统节点的IP地址信息。该文件的每一行都包含3个域,分别为节点范围的起始号,IP地址或主机名,该范围中的节点数目。例如某系统的配置文件如下:
    1172。26。4。1381
    2172。26。4。1392
    4MOSIX_41
    机器MOSIX_4的IP为172。26。4。22。在这个系统中,节点1的IP为172。26。4。138。节点2,3的IP则分别为172。26。4。139,172。26。4。140。节点4的IP则为172。26。4。22。
    数据结构
    structmosix_link表示一条MOSIX连接,它维持着该连接的状态和一些控制信息。定义如下:
    structmosix_link{
    structsocket*sock;/*套接字控制结构,用于通讯,通过它进行实际的网络操作*/
    intflags;/*状态标志*/
    intdlen;/*悬挂数据的长度*/
    intpeer;/*连接另一端的节点号*/
    char*hideptr;/*指向当前隐藏数据的指针*/
    char*hidebuf;/*指向隐藏数据缓冲区起始地址的指针*/
    inthidelen;/*隐藏数据的长度*/
    charhead[COMM_DEF_HEADSIZE];/*存放着消息头*/
    };
    structcomm_header{消息格式
    unsignedshortolen;//Optiondatalength--
    unsignedshorthlen;
    inttype;
    intdlen;
    intregs;
    intdfsalen;
    };
    #defineCOMM_HLEN(sizeof(structcomm_header))
    MOSIX中,每个进程的控制块中都保持着一条MOSIX连接contact(structmosix_link*contact),用于deputy和remote之间的通讯。进程的remote部分可以在节点间多次迁移,但是deputy总能根据它的contact连接来定位remote部分;remote也能根据它的contact连接和deputy部分通讯合作。对于未迁移的进程,contact总是为NULL。
    回页首
    MOSIX连接层接口
    MOSIX连接层提供了一系列接口用于集群间进程之间互相发送和接收数据。从这些接口的名字上,我们就很容易判断出它们的功能。
    comm_open():为MOSIX通讯打开一条连接
    mosix_link*comm_open(intmos,mosix_addr*maddr,unsignedlongtimo)
    如果mos0,则连接到第#mos号节点上的迁移守护进程。
    如果mos=COMM_TOADDR,则连接maddr-saddr中给定的地址。
    如果mos=COMM_ACCEPT,则打开一个SOCKET,并且可以接受连接。
    如果mos=COMM_MIGD,则为迁移守护进程设置SOCKET。
    如果mos=COMM_INFOD,则为信息守护进程设置SOCKET。
    如果mos=COMM_LOOSE,则允许连接多个守护进程。
    comm_use():为进程设置新的连接并返回旧的连接
    mosix_link*comm_use(structtask_struct*p,mosix_link*mlink)
    进程p将使用mlink连接进行通讯。
    comm_close():关闭Mosix通讯连接
    voidcomm_close(mosix_link*mlink)
    调用comm_shutdown(mlink)关闭对连接的写入,然后通过sock_release(mlink-sock)释放该连接上的套接字。
    comm_accept():在Mosix通讯套接字上接受连接
    intcomm_accept(mosix_link*ml,mosix_link**mlp,mosix_addr*ma,unsignedlongt)
    接受建立连接请求,mlp指向建立的新连接,连接的另一端的地址保存在ma中。
    comm_waitaccept():在Mosix通讯套接字上接受连接
    staticint
    comm_waitaccept()comm_waitaccept()调用comm_accept接收连接请求并建立一条新的连接,然后comm_use这条新的连接并关闭旧的连接。
    comm_send():发送一条消息(head+data)
    intcomm_send(inttype,void*head,inthlen,void*data,intdlen,intuspace)
    如果要发送的数据来自用户空间(uspace),且可能会导致远程page-fault(dirty_all_remote_pages),则先把数据从用户空间拷入内核,然后检查地址范围的有效性(ucache_ok)。
    如果type&COMM_MFREGS或则type&COMM_MFIDENT,则分别通过comm_packregs(0,0)和comm_packident(0)进行压缩,可能产生选项数据。
    将数据按照消息格式组装起来,然后调用套接字操作集上的sendmsg操作将消息发送出去。
    comm_sendto():发送一个数据报
    intcomm_sendto(intmos,void*data,intlen,mosix_link*mlink,mosix_addr*to)
    通过mlink连接,发送len长的数据到to指明的地址,发送的数据在data中。
    to指明目的地址,如果为空,则数据是发送给节点mos上的负载信息守护进程(INFO_DAEMON)。
    调用套接字操作集上的sendmsg操作将消息发送到指定的地址。
    comm_dorecv():从连接中可靠的读取数据
    intcomm_dorecv(structsocket*sock,structmsghdr*msg,intlen)
    根据msg,通过调用套接字操作集上的recvmsg操作从网络连接上读取数据。它读的是字节流,并没有格式的。
    comm_recv():接收消息头
    intcomm_recv(void**headp,int*hlen)
    如果当前进程的连接处于等待接受连接请求状态(COMM_WAITACCEPT),则等待直到接受请求。然后通过comm_dorecv()接收消息头长度(COMM_HLEN)的数据,得到消息头的实际长度(hlen+olen),然后准备空间存放消息头数据(comm_mkhead),再通过comm_dorecv()接收实际的消息头数据,并根据其中的信息,调用不同的解压处理程序。因为为了减少传输的数据量,消息数据发送前都经过了压缩。
    如果有数据COMM_MFDATA,则将数据长度保存在连接的数据长度中(mlink-dlen=header。dlen),这样,随后调用comm_copydata和comm_recvdata时,我们将知道应该能够从网络中读取多少数据。
    comm_copydata():从消息中拷贝数据
    intcomm_copydata(void*data,intlen,intuspace)返回0表示成功。
    从消息中拷贝长度为len的数据。读入的数据保存在data指向的buffer中。Uspace表明data是指向用户空间还是内核空间。成功时返回0。
    如果要data指向用户空间(uspace),且会导致远程page-fault(dirty_all_remote_pages),则返回内存不足错误。
    如果连接中不存在数据,但是隐藏数据缓冲区不为空,则从隐藏数据缓冲区拷贝len长数据到data中。否则则通过comm_dorecv函数从网络中读取数据。
    comm_recvdata():从连接中将所有数据读取到已分配缓冲区中/*
    intcomm_recvdata(void**data)返回0表示成功。
    如果连接中存在隐藏数据(COMM_HIDEDATA),则data指向隐藏数据缓冲区,然后置连接的隐藏数据缓冲区为NULL。
    否则,调用comm_malloc分配内存,通过comm_dorecv试图将连接所有的数据(mlink-dlen)都接收放入到其中。data将指向分配的内存缓冲区。
    comm_recvfrom():接收数据报
    intcomm_recvfrom(void*data,intlen,mosix_link*mlink,mosix_addr*from,unsignedlongtimo)
    读取长为len的数据放在data中,from返回接收数据报的源地址。timo指明超时值,单位为微秒。返回接收数据的长度(0)或者错误。
    调用套接字操作集上的recvmsg操作来接收数据,数据报的源地址返回在from中。如果接收到数据,则通过net_to_mos检查该源地址是否属于MOSIX节点。
    如果不属于MOSIX节点,则comm_recvfrom()返回错误。
    comm_free():释放不再被使用的消息头或数据。
    voidcomm_free(void*head)
    如果当前进程的该连接是COMM_INFOLINK,则释放head,返回。
    首先检查head是否超出连接消息头范围。如果head指向消息头的起始地址,则标记该消息头不再被使用(~COMM_HEADINUSE)。否则释放head所指的内存空间。
    comm_mkhead():准备指定大小的消息头空间
    void*comm_mkhead(inthlen)
    从内核中分配hlen大小的GFP_KERNEL内存空间,mlink-head指向分配的起始地址。
    comm_flushdata():清空前一个消息剩余的数据
    voidcomm_flushdata(intdlen)
    如果当前连接是隐藏数据(mlink-flags&COMM_HIDEDATA),则从隐藏数据中flush长度为dlen的数据。否则,调用comm_dorecv从连接中读取长度为dlen的数据。
    comm_peek():检查该连接是否有数据悬挂
    intcomm_peek(void)
    调用套接字操作集上的poll函数来判断是否有数据悬挂。
    comm_poll():等待直到有通讯事件、中断或MOSIX事件产生
    intcomm_poll(intmask,intinterruptible,unsignedlongtimo)
    interruptible指明是否可以被中断,timeo设置等待超时时间。
    comm_wait():等待消息到达或者MOSIX事件产生
    intcomm_wait(void)
    返回1表示消息到达,返回0则表示先产生了一个事件。
    comm_send_urgent():使用紧急数据(OOB)发送事件通知
    intcomm_send_urgent(void)
    紧急事件通知只能由代理发送。MOSIX中将OOB数据定为0xdb。它只发送一个字节的有效数据(0xdb),通过将msghdr的msg_flags标志位设置MSG_OOB|MSG_NOSIGNAL来表示紧急情况。
    comm_test_urgent():检查是否悬挂了紧急数据(OOB)
    intcomm_test_urgent(void)
    通过设置MSG_OOB|MSG_PEEK|MSG_DONTWAIT|MSG_NOSIGNAL属性来调用套接字操作集上的recvmsg操作来接收数据。如果接收到的长度为1且等于0xdb,则表明悬挂了紧急数据。
    comm_take_urgent():从流中取出悬挂的OOB数据,以免被转化为普通数据处理
    voidcomm_take_urgent(void)
    调用者必须确保流中没有其它的数据。
    首先以MSG_OOB|MSG_DONTWAIT|MSG_NOSIGNAL属性读取一字节,判断是否有OOB数据,然后设置套接字SO_OOBINLINE选项为on,让带外数据保留在正常的输入队列中。然后调用套接字操作集上的recvmsg操作来读取这一个字节的带外数据。最后关闭套接字的SO_OOBINLINE选项。
    
2024, LCREAD.COM 手机连城