121 	struct rdmaio_data *rd = td->io_ops->data;  in client_recv()  local
123 	if (wc->byte_len != sizeof(rd->recv_buf)) {  in client_recv()
129 	if ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE) ||  in client_recv()
130 	    (rd->rdma_protocol == FIO_RDMA_MEM_READ)) {  in client_recv()
134 		rd->rmt_nr = ntohl(rd->recv_buf.nr);  in client_recv()
136 		for (i = 0; i < rd->rmt_nr; i++) {  in client_recv()
137 			rd->rmt_us[i].buf = ntohll(rd->recv_buf.rmt_us[i].buf);  in client_recv()
138 			rd->rmt_us[i].rkey = ntohl(rd->recv_buf.rmt_us[i].rkey);  in client_recv()
139 			rd->rmt_us[i].size = ntohl(rd->recv_buf.rmt_us[i].size);  in client_recv()
143 			       " len %d from peer\n", rd->rmt_us[i].rkey,  in client_recv()
144 			       rd->rmt_us[i].buf, rd->rmt_us[i].size);  in client_recv()
153 	struct rdmaio_data *rd = td->io_ops->data;  in server_recv()  local
156 		rd->rdma_protocol = ntohl(rd->recv_buf.mode);  in server_recv()
159 		if (rd->rdma_protocol == FIO_RDMA_CHA_SEND)  in server_recv()
160 			rd->rdma_protocol = FIO_RDMA_CHA_RECV;  in server_recv()
168 	struct rdmaio_data *rd = td->io_ops->data;  in cq_event_handler()  local
175 	while ((ret = ibv_poll_cq(rd->cq, 1, &wc)) == 1) {  in cq_event_handler()
188 			if (rd->is_client == 1)  in cq_event_handler()
196 			for (i = 0; i < rd->io_u_flight_nr; i++) {  in cq_event_handler()
197 				r_io_u_d = rd->io_us_flight[i]->engine_data;  in cq_event_handler()
200 					rd->io_us_flight[i]->resid =  in cq_event_handler()
201 					    rd->io_us_flight[i]->buflen  in cq_event_handler()
204 					rd->io_us_flight[i]->error = 0;  in cq_event_handler()
206 					rd->io_us_completed[rd->  in cq_event_handler()
208 					    = rd->io_us_flight[i];  in cq_event_handler()
209 					rd->io_u_completed_nr++;  in cq_event_handler()
213 			if (i == rd->io_u_flight_nr)  in cq_event_handler()
218 				rd->io_us_flight[i] =  in cq_event_handler()
219 				    rd->io_us_flight[rd->io_u_flight_nr - 1];  in cq_event_handler()
220 				rd->io_u_flight_nr--;  in cq_event_handler()
231 			for (i = 0; i < rd->io_u_flight_nr; i++) {  in cq_event_handler()
232 				r_io_u_d = rd->io_us_flight[i]->engine_data;  in cq_event_handler()
235 					rd->io_us_completed[rd->  in cq_event_handler()
237 					    = rd->io_us_flight[i];  in cq_event_handler()
238 					rd->io_u_completed_nr++;  in cq_event_handler()
242 			if (i == rd->io_u_flight_nr)  in cq_event_handler()
247 				rd->io_us_flight[i] =  in cq_event_handler()
248 				    rd->io_us_flight[rd->io_u_flight_nr - 1];  in cq_event_handler()
249 				rd->io_u_flight_nr--;  in cq_event_handler()
259 		rd->cq_event_num++;  in cq_event_handler()
275 	struct rdmaio_data *rd = td->io_ops->data;  in rdma_poll_wait()  local
280 	if (rd->cq_event_num > 0) {	/* previous left */  in rdma_poll_wait()
281 		rd->cq_event_num--;  in rdma_poll_wait()
286 	if (ibv_get_cq_event(rd->channel, &ev_cq, &ev_ctx) != 0) {  in rdma_poll_wait()
290 	if (ev_cq != rd->cq) {  in rdma_poll_wait()
294 	if (ibv_req_notify_cq(rd->cq, 0) != 0) {  in rdma_poll_wait()
303 	ibv_ack_cq_events(rd->cq, ret);  in rdma_poll_wait()
305 	rd->cq_event_num--;  in rdma_poll_wait()
312 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_setup_qp()  local
316 	if (rd->is_client == 0)  in fio_rdmaio_setup_qp()
317 		rd->pd = ibv_alloc_pd(rd->child_cm_id->verbs);  in fio_rdmaio_setup_qp()
319 		rd->pd = ibv_alloc_pd(rd->cm_id->verbs);  in fio_rdmaio_setup_qp()
321 	if (rd->pd == NULL) {  in fio_rdmaio_setup_qp()
326 	if (rd->is_client == 0)  in fio_rdmaio_setup_qp()
327 		rd->channel = ibv_create_comp_channel(rd->child_cm_id->verbs);  in fio_rdmaio_setup_qp()
329 		rd->channel = ibv_create_comp_channel(rd->cm_id->verbs);  in fio_rdmaio_setup_qp()
330 	if (rd->channel == NULL) {  in fio_rdmaio_setup_qp()
338 	if (rd->is_client == 0)  in fio_rdmaio_setup_qp()
339 		rd->cq = ibv_create_cq(rd->child_cm_id->verbs,  in fio_rdmaio_setup_qp()
340 				       qp_depth, rd, rd->channel, 0);  in fio_rdmaio_setup_qp()
342 		rd->cq = ibv_create_cq(rd->cm_id->verbs,  in fio_rdmaio_setup_qp()
343 				       qp_depth, rd, rd->channel, 0);  in fio_rdmaio_setup_qp()
344 	if (rd->cq == NULL) {  in fio_rdmaio_setup_qp()
349 	if (ibv_req_notify_cq(rd->cq, 0) != 0) {  in fio_rdmaio_setup_qp()
361 	init_attr.send_cq = rd->cq;  in fio_rdmaio_setup_qp()
362 	init_attr.recv_cq = rd->cq;  in fio_rdmaio_setup_qp()
364 	if (rd->is_client == 0) {  in fio_rdmaio_setup_qp()
365 		if (rdma_create_qp(rd->child_cm_id, rd->pd, &init_attr) != 0) {  in fio_rdmaio_setup_qp()
369 		rd->qp = rd->child_cm_id->qp;  in fio_rdmaio_setup_qp()
371 		if (rdma_create_qp(rd->cm_id, rd->pd, &init_attr) != 0) {  in fio_rdmaio_setup_qp()
375 		rd->qp = rd->cm_id->qp;  in fio_rdmaio_setup_qp()
381 	ibv_destroy_cq(rd->cq);  in fio_rdmaio_setup_qp()
383 	ibv_destroy_comp_channel(rd->channel);  in fio_rdmaio_setup_qp()
385 	ibv_dealloc_pd(rd->pd);  in fio_rdmaio_setup_qp()
392 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_setup_control_msg_buffers()  local
394 	rd->recv_mr = ibv_reg_mr(rd->pd, &rd->recv_buf, sizeof(rd->recv_buf),  in fio_rdmaio_setup_control_msg_buffers()
396 	if (rd->recv_mr == NULL) {  in fio_rdmaio_setup_control_msg_buffers()
401 	rd->send_mr = ibv_reg_mr(rd->pd, &rd->send_buf, sizeof(rd->send_buf),  in fio_rdmaio_setup_control_msg_buffers()
403 	if (rd->send_mr == NULL) {  in fio_rdmaio_setup_control_msg_buffers()
405 		ibv_dereg_mr(rd->recv_mr);  in fio_rdmaio_setup_control_msg_buffers()
411 	rd->recv_sgl.addr = (uint64_t) (unsigned long)&rd->recv_buf;  in fio_rdmaio_setup_control_msg_buffers()
412 	rd->recv_sgl.length = sizeof(rd->recv_buf);  in fio_rdmaio_setup_control_msg_buffers()
413 	rd->recv_sgl.lkey = rd->recv_mr->lkey;  in fio_rdmaio_setup_control_msg_buffers()
414 	rd->rq_wr.sg_list = &rd->recv_sgl;  in fio_rdmaio_setup_control_msg_buffers()
415 	rd->rq_wr.num_sge = 1;  in fio_rdmaio_setup_control_msg_buffers()
416 	rd->rq_wr.wr_id = FIO_RDMA_MAX_IO_DEPTH;  in fio_rdmaio_setup_control_msg_buffers()
419 	rd->send_sgl.addr = (uint64_t) (unsigned long)&rd->send_buf;  in fio_rdmaio_setup_control_msg_buffers()
420 	rd->send_sgl.length = sizeof(rd->send_buf);  in fio_rdmaio_setup_control_msg_buffers()
421 	rd->send_sgl.lkey = rd->send_mr->lkey;  in fio_rdmaio_setup_control_msg_buffers()
423 	rd->sq_wr.opcode = IBV_WR_SEND;  in fio_rdmaio_setup_control_msg_buffers()
424 	rd->sq_wr.send_flags = IBV_SEND_SIGNALED;  in fio_rdmaio_setup_control_msg_buffers()
425 	rd->sq_wr.sg_list = &rd->send_sgl;  in fio_rdmaio_setup_control_msg_buffers()
426 	rd->sq_wr.num_sge = 1;  in fio_rdmaio_setup_control_msg_buffers()
427 	rd->sq_wr.wr_id = FIO_RDMA_MAX_IO_DEPTH;  in fio_rdmaio_setup_control_msg_buffers()
436 	struct rdmaio_data *rd = td->io_ops->data;  in get_next_channel_event()  local
455 		rd->child_cm_id = event->id;  in get_next_channel_event()
468 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_prep()  local
473 	switch (rd->rdma_protocol) {  in fio_rdmaio_prep()
502 		log_err("fio: unknown rdma protocol - %d\n", rd->rdma_protocol);  in fio_rdmaio_prep()
511 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_event()  local
515 	io_u = rd->io_us_completed[0];  in fio_rdmaio_event()
516 	for (i = 0; i < rd->io_u_completed_nr - 1; i++)  in fio_rdmaio_event()
517 		rd->io_us_completed[i] = rd->io_us_completed[i + 1];  in fio_rdmaio_event()
519 	rd->io_u_completed_nr--;  in fio_rdmaio_event()
529 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_getevents()  local
536 	switch (rd->rdma_protocol) {  in fio_rdmaio_getevents()
550 		log_err("fio: unknown rdma protocol - %d\n", rd->rdma_protocol);  in fio_rdmaio_getevents()
554 	if (rd->cq_event_num > 0) {	/* previous left */  in fio_rdmaio_getevents()
555 		rd->cq_event_num--;  in fio_rdmaio_getevents()
560 	if (ibv_get_cq_event(rd->channel, &ev_cq, &ev_ctx) != 0) {  in fio_rdmaio_getevents()
564 	if (ev_cq != rd->cq) {  in fio_rdmaio_getevents()
568 	if (ibv_req_notify_cq(rd->cq, 0) != 0) {  in fio_rdmaio_getevents()
577 	ibv_ack_cq_events(rd->cq, ret);  in fio_rdmaio_getevents()
583 	rd->cq_event_num -= r;  in fio_rdmaio_getevents()
591 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_send()  local
605 		switch (rd->rdma_protocol) {  in fio_rdmaio_send()
609 			index = __rand(&rd->rand_state) % rd->rmt_nr;  in fio_rdmaio_send()
611 			r_io_u_d->sq_wr.wr.rdma.rkey = rd->rmt_us[index].rkey;  in fio_rdmaio_send()
613 				rd->rmt_us[index].buf;  in fio_rdmaio_send()
619 			index = __rand(&rd->rand_state) % rd->rmt_nr;  in fio_rdmaio_send()
621 			r_io_u_d->sq_wr.wr.rdma.rkey = rd->rmt_us[index].rkey;  in fio_rdmaio_send()
623 				rd->rmt_us[index].buf;  in fio_rdmaio_send()
633 				rd->rdma_protocol);  in fio_rdmaio_send()
637 		if (ibv_post_send(rd->qp, &r_io_u_d->sq_wr, &bad_wr) != 0) {  in fio_rdmaio_send()
654 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_recv()  local
660 	if (rd->rdma_protocol == FIO_RDMA_CHA_RECV) {  in fio_rdmaio_recv()
664 			if (ibv_post_recv(rd->qp, &r_io_u_d->rq_wr, &bad_wr) !=  in fio_rdmaio_recv()
670 	} else if ((rd->rdma_protocol == FIO_RDMA_MEM_READ)  in fio_rdmaio_recv()
671 		   || (rd->rdma_protocol == FIO_RDMA_MEM_WRITE)) {  in fio_rdmaio_recv()
673 		if (ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr) != 0) {  in fio_rdmaio_recv()
690 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_queue()  local
694 	if (rd->io_u_queued_nr == (int)td->o.iodepth)  in fio_rdmaio_queue()
697 	rd->io_us_queued[rd->io_u_queued_nr] = io_u;  in fio_rdmaio_queue()
698 	rd->io_u_queued_nr++;  in fio_rdmaio_queue()
708 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_queued()  local
721 		rd->io_us_flight[rd->io_u_flight_nr] = io_u;  in fio_rdmaio_queued()
722 		rd->io_u_flight_nr++;  in fio_rdmaio_queued()
731 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_commit()  local
735 	if (!rd->io_us_queued)  in fio_rdmaio_commit()
738 	io_us = rd->io_us_queued;  in fio_rdmaio_commit()
741 		if (rd->is_client)  in fio_rdmaio_commit()
742 			ret = fio_rdmaio_send(td, io_us, rd->io_u_queued_nr);  in fio_rdmaio_commit()
743 		else if (!rd->is_client)  in fio_rdmaio_commit()
744 			ret = fio_rdmaio_recv(td, io_us, rd->io_u_queued_nr);  in fio_rdmaio_commit()
751 			rd->io_u_queued_nr -= ret;  in fio_rdmaio_commit()
756 	} while (rd->io_u_queued_nr);  in fio_rdmaio_commit()
763 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_connect()  local
772 	if (rdma_connect(rd->cm_id, &conn_param) != 0) {  in fio_rdmaio_connect()
778 	    (td, rd->cm_channel, RDMA_CM_EVENT_ESTABLISHED) != 0) {  in fio_rdmaio_connect()
784 	rd->send_buf.mode = htonl(rd->rdma_protocol);  in fio_rdmaio_connect()
785 	rd->send_buf.nr = htonl(td->o.iodepth);  in fio_rdmaio_connect()
787 	if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {  in fio_rdmaio_connect()
812 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_accept()  local
821 	if (rdma_accept(rd->child_cm_id, &conn_param) != 0) {  in fio_rdmaio_accept()
827 	    (td, rd->cm_channel, RDMA_CM_EVENT_ESTABLISHED) != 0) {  in fio_rdmaio_accept()
835 	if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {  in fio_rdmaio_accept()
855 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_close_file()  local
864 	if ((rd->is_client == 1) && ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE)  in fio_rdmaio_close_file()
865 				     || (rd->rdma_protocol ==  in fio_rdmaio_close_file()
867 		if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {  in fio_rdmaio_close_file()
876 	if (rd->is_client == 1)  in fio_rdmaio_close_file()
877 		rdma_disconnect(rd->cm_id);  in fio_rdmaio_close_file()
879 		rdma_disconnect(rd->child_cm_id);  in fio_rdmaio_close_file()
881 		rdma_disconnect(rd->cm_id);  in fio_rdmaio_close_file()
886 	if (get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_DISCONNECTED) != 0) {  in fio_rdmaio_close_file()
892 	ibv_destroy_cq(rd->cq);  in fio_rdmaio_close_file()
893 	ibv_destroy_qp(rd->qp);  in fio_rdmaio_close_file()
895 	if (rd->is_client == 1)  in fio_rdmaio_close_file()
896 		rdma_destroy_id(rd->cm_id);  in fio_rdmaio_close_file()
898 		rdma_destroy_id(rd->child_cm_id);  in fio_rdmaio_close_file()
899 		rdma_destroy_id(rd->cm_id);  in fio_rdmaio_close_file()
902 	ibv_destroy_comp_channel(rd->channel);  in fio_rdmaio_close_file()
903 	ibv_dealloc_pd(rd->pd);  in fio_rdmaio_close_file()
911 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_setup_connect()  local
915 	rd->addr.sin_family = AF_INET;  in fio_rdmaio_setup_connect()
916 	rd->addr.sin_port = htons(port);  in fio_rdmaio_setup_connect()
918 	if (inet_aton(host, &rd->addr.sin_addr) != 1) {  in fio_rdmaio_setup_connect()
927 		memcpy(&rd->addr.sin_addr, hent->h_addr, 4);  in fio_rdmaio_setup_connect()
931 	err = rdma_resolve_addr(rd->cm_id, NULL, (struct sockaddr *)&rd->addr, 2000);  in fio_rdmaio_setup_connect()
937 	err = get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_ADDR_RESOLVED);  in fio_rdmaio_setup_connect()
944 	err = rdma_resolve_route(rd->cm_id, 2000);  in fio_rdmaio_setup_connect()
950 	err = get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_ROUTE_RESOLVED);  in fio_rdmaio_setup_connect()
964 	err = ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr);  in fio_rdmaio_setup_connect()
975 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_setup_listen()  local
978 	rd->addr.sin_family = AF_INET;  in fio_rdmaio_setup_listen()
979 	rd->addr.sin_addr.s_addr = htonl(INADDR_ANY);  in fio_rdmaio_setup_listen()
980 	rd->addr.sin_port = htons(port);  in fio_rdmaio_setup_listen()
983 	if (rdma_bind_addr(rd->cm_id, (struct sockaddr *)&rd->addr) != 0) {  in fio_rdmaio_setup_listen()
988 	if (rdma_listen(rd->cm_id, 3) != 0) {  in fio_rdmaio_setup_listen()
995 	    (td, rd->cm_channel, RDMA_CM_EVENT_CONNECT_REQUEST) != 0) {  in fio_rdmaio_setup_listen()
1007 	if (ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr) != 0) {  in fio_rdmaio_setup_listen()
1051 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_init()  local
1097 			rd->rdma_protocol = FIO_RDMA_MEM_WRITE;  in fio_rdmaio_init()
1100 			rd->rdma_protocol = FIO_RDMA_MEM_READ;  in fio_rdmaio_init()
1103 			rd->rdma_protocol = FIO_RDMA_CHA_SEND;  in fio_rdmaio_init()
1107 		rd->rdma_protocol = FIO_RDMA_MEM_WRITE;  in fio_rdmaio_init()
1109 	rd->cq_event_num = 0;  in fio_rdmaio_init()
1111 	rd->cm_channel = rdma_create_event_channel();  in fio_rdmaio_init()
1112 	if (!rd->cm_channel) {  in fio_rdmaio_init()
1117 	ret = rdma_create_id(rd->cm_channel, &rd->cm_id, rd, RDMA_PS_TCP);  in fio_rdmaio_init()
1123 	if ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE) ||  in fio_rdmaio_init()
1124 	    (rd->rdma_protocol == FIO_RDMA_MEM_READ)) {  in fio_rdmaio_init()
1125 		rd->rmt_us =  in fio_rdmaio_init()
1127 		memset(rd->rmt_us, 0,  in fio_rdmaio_init()
1129 		rd->rmt_nr = 0;  in fio_rdmaio_init()
1132 	rd->io_us_queued = malloc(td->o.iodepth * sizeof(struct io_u *));  in fio_rdmaio_init()
1133 	memset(rd->io_us_queued, 0, td->o.iodepth * sizeof(struct io_u *));  in fio_rdmaio_init()
1134 	rd->io_u_queued_nr = 0;  in fio_rdmaio_init()
1136 	rd->io_us_flight = malloc(td->o.iodepth * sizeof(struct io_u *));  in fio_rdmaio_init()
1137 	memset(rd->io_us_flight, 0, td->o.iodepth * sizeof(struct io_u *));  in fio_rdmaio_init()
1138 	rd->io_u_flight_nr = 0;  in fio_rdmaio_init()
1140 	rd->io_us_completed = malloc(td->o.iodepth * sizeof(struct io_u *));  in fio_rdmaio_init()
1141 	memset(rd->io_us_completed, 0, td->o.iodepth * sizeof(struct io_u *));  in fio_rdmaio_init()
1142 	rd->io_u_completed_nr = 0;  in fio_rdmaio_init()
1145 		rd->is_client = 0;  in fio_rdmaio_init()
1149 		rd->is_client = 1;  in fio_rdmaio_init()
1162 		io_u->mr = ibv_reg_mr(rd->pd, io_u->buf, max_bs,  in fio_rdmaio_init()
1171 		rd->send_buf.rmt_us[i].buf =  in fio_rdmaio_init()
1173 		rd->send_buf.rmt_us[i].rkey = htonl(io_u->mr->rkey);  in fio_rdmaio_init()
1174 		rd->send_buf.rmt_us[i].size = htonl(max_bs);  in fio_rdmaio_init()
1181 	rd->send_buf.nr = htonl(i);  in fio_rdmaio_init()
1191 	struct rdmaio_data *rd = td->io_ops->data;  in fio_rdmaio_cleanup()  local
1193 	if (rd)  in fio_rdmaio_cleanup()
1194 		free(rd);  in fio_rdmaio_cleanup()
1199 	struct rdmaio_data *rd;  in fio_rdmaio_setup()  local
1202 		rd = malloc(sizeof(*rd));  in fio_rdmaio_setup()
1204 		memset(rd, 0, sizeof(*rd));  in fio_rdmaio_setup()
1205 		init_rand_seed(&rd->rand_state, (unsigned int) GOLDEN_RATIO_PRIME);  in fio_rdmaio_setup()
1206 		td->io_ops->data = rd;  in fio_rdmaio_setup()