OceanBase使用libeasy原理源码分析:客户端

转载

这篇主要写libeasy作为客户端的情形。结合OceanBase 0.4的mergeserver使用libeasy的情况进行分析,mergeserver请求chunkserver是异步请求,chunkserver使用update是同步请求,在libeasy中,同步请求是通过异步请求来实现。使用libeasy作为服务器端的情况见OceanBase使用libeasy原理源码分析:服务器端,作为客户端使用时,会涉及到一些数据结构,easy_session_t, easy_client_t, easy_hash_t, easy_hash_list_t等。

easy_session_t用来封装一个要发出去的请求,easy_client_t用来封装一个TCP连接的发起端,easy_hash_t是一个哈希表,easy_hash_list_t是采用开放寻址解决hash冲突的链表节点。

一、异步请求

在OceanBase 0.4 中,mergeserver请求chunkserver是异步的方式。实际使用了libeasy的如下两个上层接口:

easy_session_t *easy_session_create(int64_t asize)

int easy_client_dispatch(easy_io_t *eio, easy_addr_t addr, easy_session_t *s)

首先看看session这个关键的数据结构:

#define EASY_MESSAGE_SESSION_HEADER \
      easy_connection_t *c; \
      easy_pool_t *pool; \
      int8_t type; \
      int8_t async; \ //1 代表这是个异步session
      int8_t status; \
      int8_t error;
struct easy_session_t {
      EASY_MESSAGE_SESSION_HEADER;
      ev_tstamp               timeout, now;
      ev_timer                timeout_watcher;
      // 用于串入session list的链表节点
      easy_list_t             session_list_node;
      //为了快速根据packet id定位到发送队列中的session,将session加入到发送队列中时,同时,将其加入到一个hash表中,hash表采用链表的方式将同一个bucket的元素连接起来,
      //链表元素就是easy_hash_list_t类型
      easy_hash_list_t        send_queue_hash;
      // 用于串入发送队列链表的节点
      easy_list_t             send_queue_list;
      // 当session的包返回时处理响应的回调函数,对于OceanBase 0.4的mergeserver来说,实际上是int ObMergeCallback::sql_process(easy_request_t* r)
      // 将响应事件进mergeserver的finish queue队列
      easy_io_process_pt     *process;
      easy_io_cleanup_pt     *cleanup;
      easy_addr_t             addr;
      easy_list_t            *nextb;<br>      // 用于作为session的hash key,用于收到session响应时快速的从发送队列中删除相应的session
      uint64_t                packet_id;
      // 各种回调函数的集合
      void                    *thread_ptr;
      //该session封装的请求,一个session只封装一个请求
      easy_request_t          r;
      char                    data[0];
  };

libeasy作为客户端时,将每个发往libeasy服务器端的请求包封装成一个session(easy_session_t),客户端将这个session放入连接的队列中然后返回,随后收到包后,将相应的session从连接的发送队列中删除,使用了hash加快查找,以packet id为hash key。在超时处理上,tbnet的包超时是基于连接的,即在一个连接上的所有的包的超时时间是一样的。libeasy的超时粒度基于包,得益于底层libev实现的watcher机制。

发包:

mergeserver给chunkserver发异步请求时,会首先分配一块内存,用来容纳easy_session_t和请求包,通过easy_session_t *easy_session_create(int64_t asize)函数来实现,这个函数主要就做了一件事:分配一个内存池easy_pool_t,在内存池头部放置一个easy_session_t,剩下部分存放实际的数据包ObPacket,然后将session的type设置为EASY_TYPE_SESSION。

随后,将实际包挂在这个session包装的request的opacket上,设置session的目标server地址,最后通过easy_session_set_timeout设置这个session的超时时间timeout,这也就是这个请求的超时时间。

然后调用int easy_client_dispatch(easy_io_t *eio, easy_addr_t addr, easy_session_t *s)将这个session分发到具体TCP连接:

1. 调用easy_thread_pool_hash 从IO线程池中选一个IO线程来执行这次session的发送

2. 将这个session加入到这个IO线程的session list中

3. 唤醒这个IO线程开始干活

如上一篇中介绍,IO线程被唤醒的回调函数easy_connection_on_wakeup,继而调用easy_connection_send_session_list函数,这个函数主要做几件事

1. 对于每个session,调用easy_connection_do_client,找到一条connection用于发送这个session

         1.1 从IO线程的client_list(easy_hash_t)这个hash table中找出一个easy_client_t(封装一个connection的发起端),对端地址是session->addr

         1.2 如果要发送的session是一个正常的session,则设置其回调函数process后,返回这个client封装的connection,如果是一个连接的session,并且没有现成的到对端的connection,则从IO线程的client_array(easy_array_t)中拿一个空闲的easy_client_t槽位,然后初始化它,并将其加入到IO线程的client_list中,再调用easy_connection_do_connect建立到对端的连接,最后返回该连接。如果是一个断开的session,则将这个client从client_list删除,并且将client占的槽位还给client_array。

2. 调用easy_connection_session_build:

          2.1. 设置session的cleanup函数

          2.2 调用easy_connection_get_packet_id(回调应用层定义的get_packet_id函数,对于OceanBase 0.4来说,对于packet的channel以一递增),为session封装的请求产生packet id,主要用于接收到session的响应时用于快速定位到发送队列将session删除。

          2.3 回调应用层定义的encode函数,在这里,是int ObTbnetCallback::encode(easy_request_t *r, void *data)函数,在请求所在message的pool分配一个easy_buf_t,并且将包拷进去,然后调用easy_request_addbuf将这个新的buf挂在连接的output输出缓冲区链表中。

          2.4 调用easy_hash_dlist_add(c->send_queue, s->packet_id, &s->send_queue_hash, &s->send_queue_list)将这个session添加到连接的发送队列中。这个函数将session添加到发送队列的同时,同时将相应的项添加到hash表的相应的bucket的链表头(easy_hash_t和easy_hash_list_t实现)

          2.5 将session串入到连接的session list中。并且启动timeout watcher,事件为之前为session设置的timeout时间

3. 调用easy_connection_write_socket将所有这些session被分发到的connection的output输出缓冲区链表的数据写出。

 收包:

如前所述,当fd可读时,会回调easy_connection_on_readable

从内核缓冲区读入数据到应用层输入缓冲区中读入数据,一样,会初始化一个easy_message_t m存放请求,m的初始引用计数为1然后调用easy_connection_do_response进行处理,libeasy作为服务器端时,调用的是easy_connection_do_request

easy_connection_do_response做几件事:

1. 回调应用层定义的decode的,从message的inputbuffer中解析出一个个的packet,将packet挂在session封装的请求r的ipacket上,并且将整个message挂在session封装的请求r的后面,相当于将请求和响应关联起来(s->r.request_list_node.next = (easy_list_t *) m)。对于OceanBase来说,是ObPacket, 由于是异步请求(s->async==1),将m的引用计数加1,并且同样,调用easy_connection_get_packet_id方法得到这个packet的packetid,然后调用s = (easy_session_t *) easy_hash_dlist_del(c->send_queue, packet_id)将这个packet所属的session从发送队列中摘下来

2. 由于这个session的响应收到了,将其timeout watcher停掉

3. 将这个session从连接的session list中删除

4. 调用easy_session_process

    4.1 回调应用层的process方法,在这里,是int ObMergeCallback::sql_process(easy_request_t* r),将包放入mergeserver的finish queue中。然后调用

easy_session_destroy(r->ms),该函数会调用easy_message_destroy(m, 0)将与这个session相关的响应message的引用计数减1,最后session使用的pool销毁。

5. 最后看是否message上是否还有request没处理完成,没有request要处理了,则调用easy_message_destroy(m, 1)将message的引用计数减1,将message从连接的message list删除,此时message引用计数为0,销毁message使用的pool。

二、同步请求

首先,同异步请求类似,也是先创建一个session,将数据包拷进去,不同的是,同步请求调用的是void *easy_client_send(easy_io_t *eio, easy_addr_t addr, easy_session_t *s)方法而不是int easy_client_dispatch(easy_io_t *eio, easy_addr_t addr, easy_session_t *s)

其实,同步是异步的一种特殊的情况,同步请求也是通过异步请求实现的。

 void *easy_client_send(easy_io_t *eio, easy_addr_t addr, easy_session_t *s)方法封装了异步请求用到的easy_client_dispatch,easy_client_send将session

的process置为easy_client_wait_process方法,然后初始化一个easy_client_wait_t wobj,随后调用easy_client_dispatch方法走异步请求那一套,接着让自己wait在

wobj包装的一个信号量上,当这个请求收到包的时候回调easy_client_wait_process方法,signal这个信号量,然后返回session封装的请求的ipacket。

oceanbase libeasy

分享到:
评论加载中,请稍后...
创APP如搭积木 - 创意无限,梦想即时!
回到顶部