Implement busy_poll (aka low latency) for read method
[can-benchmark.git] / ugw / ugw.c
1 /**************************************************************************/
2 /* CAN user space gateway for performance benchmarks                      */
3 /* Copyright (C) 2013, 2014 Michal Sojka, DCE, FEE, CTU Prague            */
4 /* License: GPLv2                                                         */
5 /**************************************************************************/
6
7 #define _GNU_SOURCE
8 #include <sys/socket.h>
9 #include <linux/can.h>
10 #include <sys/ioctl.h>
11 #include <net/if.h>
12 #include <string.h>
13 #include <unistd.h>
14 #include <stdlib.h>
15 #include <stdio.h>
16 #include <time.h>
17 #include <stdbool.h>
18 #include <linux/if_ether.h>
19 #include <linux/if_packet.h>
20 #include <poll.h>
21 #include <sys/mman.h>
22 #include <arpa/inet.h>
23
24 #ifndef SO_BUSY_POLL
25 #define SO_BUSY_POLL 46
26 #endif
27
28 #define FRAME_SIZE 256
29 #define BLOCK_SIZE 4096
30 #define BLOCK_NR 2
31 #define FRAME_NR (BLOCK_NR*(BLOCK_SIZE/FRAME_SIZE))
32
33 #define STRINGIFY(val) #val
34 #define TOSTRING(val) STRINGIFY(val)
35 #define CHECK(cmd) ({ int ret = (cmd); if (ret == -1) { perror(#cmd " line " TOSTRING(__LINE__)); exit(1); }; ret; })
36 #define CHECKPTR(cmd) ({ void *ptr = (cmd); if (ptr == (void*)-1) { perror(#cmd " line " TOSTRING(__LINE__)); exit(1); }; ptr; })
37
38 char *devin = "can0";
39 char *devout = "can1";
40 enum { IN_READ, IN_RECVMMSG, IN_MMAP, IN_MMAPBUSY } in_method = IN_READ;
41 enum { WRITE, OUT_MMAP } out_method = WRITE;
42 bool quiet = false;
43 int busy_poll_us = 0;
44
45 enum in2out {
46         STORE_ONLY,
47         SEND,
48 };
49
50
51 #define VERBOSE(format, ...) do { if (!quiet) fprintf(stderr, format, ##__VA_ARGS__); } while (0)
52
53 struct in_ctx {
54         int s;
55         void *ptr;
56         int hdrlen;
57         int current;
58         enum in2out (*in_fn)(struct in_ctx *ctx, struct can_frame *cf);
59 };
60
61 struct out_ctx {
62         int s;
63         enum in2out from_in;
64         void *ptr;
65         int hdrlen;
66         int current;
67         int (*out_fn)(struct out_ctx *ctx, struct can_frame *cf);
68 };
69
70 enum in2out in_read(struct in_ctx *ctx, struct can_frame *cf)
71 {
72         int ret = read(ctx->s, cf, sizeof(*cf));
73         if (ret != sizeof(*cf)) {
74                 perror("read");
75                 exit(1);
76         }
77         return SEND;
78 }
79
80 void init_read(struct in_ctx *ctx)
81 {
82         int s;
83         struct sockaddr_can addr;
84         struct ifreq ifr;
85
86         s = CHECK(socket(PF_CAN, SOCK_RAW, CAN_RAW));
87
88         if (busy_poll_us) {
89                 CHECK(setsockopt(s, SOL_SOCKET, SO_BUSY_POLL,
90                                  &busy_poll_us, sizeof(busy_poll_us)));
91         }
92
93         strncpy(ifr.ifr_name, devin, sizeof(ifr.ifr_name));
94         if (-1 == ioctl(s, SIOCGIFINDEX, &ifr)) {
95                 perror(devin);
96                 exit(1);
97         }
98
99         addr.can_family = AF_CAN;
100         addr.can_ifindex = ifr.ifr_ifindex;
101
102         CHECK(bind(s, (struct sockaddr *)&addr, sizeof(addr)));
103
104         ctx->s = s;
105         ctx->in_fn = in_read;
106 }
107
108 enum in2out in_packet_rx(struct in_ctx *ctx, struct can_frame *cf)
109 {
110         volatile struct tpacket2_hdr *hdr = ctx->ptr + ctx->current*FRAME_SIZE;
111         int ret = -1;
112
113         while (hdr->tp_status == TP_STATUS_KERNEL) {
114                 if (in_method != IN_MMAPBUSY) {
115                         struct pollfd pfd = {.fd = ctx->s, .revents = 0,
116                                              .events = POLLIN|POLLRDNORM|POLLERR };
117                         ret = CHECK(poll(&pfd, 1, -1));
118                 }
119         }
120         //struct sockaddr_ll *addr = (void*)hdr + TPACKET_ALIGN(ctx->hdrlen);
121         (void)ret;
122         struct can_frame *cf_mmap = (void*)hdr + hdr->tp_mac;
123         //printf("ret:%d st:%#08x m:%d RX in frame %2d, CAN ID %#3x\n", ret, hdr->tp_status, hdr->tp_mac, ctx->current, cf_mmap->can_id);
124         *cf = *cf_mmap;
125         hdr->tp_status = 0;
126         ctx->current = (ctx->current + 1) % FRAME_NR;
127         hdr = ctx->ptr + ctx->current*FRAME_SIZE;
128         return (hdr->tp_status == TP_STATUS_KERNEL) ? SEND : STORE_ONLY;
129 }
130
131
132 void init_packet_rx(struct in_ctx *ctx)
133 {
134         int s;
135         struct sockaddr_ll my_addr;
136         struct ifreq ifr;
137
138         s = CHECK(socket(PF_PACKET, SOCK_RAW, htons(ETH_P_ALL)));
139
140         int val = TPACKET_V2;
141         CHECK(setsockopt(s, SOL_PACKET, PACKET_VERSION, &val, sizeof(val)));
142         socklen_t len = sizeof(ctx->hdrlen);
143         CHECK(getsockopt(s, SOL_PACKET, PACKET_HDRLEN, &ctx->hdrlen, &len));
144
145         strncpy (ifr.ifr_name, devin, sizeof(ifr.ifr_name));
146         CHECK(ioctl(s, SIOCGIFINDEX, &ifr));
147
148         my_addr.sll_family = AF_PACKET;
149         my_addr.sll_protocol = htons(ETH_P_ALL);
150         my_addr.sll_ifindex =  ifr.ifr_ifindex;
151
152         CHECK(bind(s, (struct sockaddr *)&my_addr, sizeof(struct sockaddr_ll)));
153
154         struct tpacket_req req = {
155                 .tp_block_size = BLOCK_SIZE,
156                 .tp_frame_size = FRAME_SIZE,
157                 .tp_block_nr   = BLOCK_NR,
158                 .tp_frame_nr   = FRAME_NR,
159         };
160         CHECK(setsockopt(s, SOL_PACKET, PACKET_RX_RING, (char *)&req, sizeof(req)));
161
162         ctx->ptr = (char*)CHECKPTR(mmap(0, BLOCK_SIZE*BLOCK_NR, PROT_READ|PROT_WRITE, MAP_SHARED, s, 0));
163
164         ctx->s = s;
165         ctx->in_fn = in_packet_rx;
166         ctx->current = 0;
167 }
168
169 int out_write(struct out_ctx *ctx, struct can_frame *cf)
170 {
171         int ret = write(ctx->s, cf, sizeof(*cf));
172         if (ret != sizeof(*cf)) {
173                 perror("write");
174                 exit(1);
175         }
176         return 0;
177 }
178
179 void init_write(struct out_ctx *ctx)
180 {
181         int s;
182         struct sockaddr_can addr;
183         struct ifreq ifr;
184
185         s = CHECK(socket(PF_CAN, SOCK_RAW, CAN_RAW));
186
187         strncpy(ifr.ifr_name, devout, sizeof(ifr.ifr_name));
188         if (-1 == ioctl(s, SIOCGIFINDEX, &ifr)) {
189                 perror(devout);
190                 exit(1);
191         }
192
193         addr.can_family = AF_CAN;
194         addr.can_ifindex = ifr.ifr_ifindex;
195
196         CHECK(bind(s, (struct sockaddr *)&addr, sizeof(addr)));
197
198         ctx->s = s;
199         ctx->out_fn = out_write;
200 }
201
202 int out_packet_tx(struct out_ctx *ctx, struct can_frame *cf)
203 {
204         volatile struct tpacket2_hdr *hdr = ctx->ptr + ctx->current*FRAME_SIZE;
205         int ret = -1;
206
207         while (hdr->tp_status != TP_STATUS_AVAILABLE) {
208                 struct pollfd pfd = {.fd = ctx->s, .revents = 0,
209                                      .events = POLLIN|POLLRDNORM|POLLERR };
210                 ret = CHECK(poll(&pfd, 1, -1));
211         }
212         (void)ret;
213         //struct sockaddr_ll *addr = (void*)hdr + TPACKET_HDRLEN - sizeof(struct sockaddr_ll);
214         struct can_frame *cf_mmap = (void*)hdr + TPACKET_HDRLEN  - sizeof(struct sockaddr_ll);
215         *cf_mmap = *cf;
216         hdr->tp_len = sizeof(*cf);
217         hdr->tp_status = TP_STATUS_SEND_REQUEST;
218         ctx->current = (ctx->current + 1) % FRAME_NR;
219
220         if (ctx->from_in == SEND){
221                 ret = CHECK(send(ctx->s, NULL, 0, 0));
222                 return 0;
223         }
224         return 0;
225 }
226
227
228 void init_packet_tx(struct out_ctx *ctx)
229 {
230         int s;
231         struct sockaddr_ll my_addr;
232         struct ifreq ifr;
233
234         s = CHECK(socket(PF_PACKET, SOCK_RAW, htons(ETH_P_ALL)));
235
236         int val = TPACKET_V2;
237         CHECK(setsockopt(s, SOL_PACKET, PACKET_VERSION, &val, sizeof(val)));
238         socklen_t len = sizeof(ctx->hdrlen);
239         CHECK(getsockopt(s, SOL_PACKET, PACKET_HDRLEN, &ctx->hdrlen, &len));
240
241         strncpy (ifr.ifr_name, devout, sizeof(ifr.ifr_name));
242         CHECK(ioctl(s, SIOCGIFINDEX, &ifr));
243
244         my_addr.sll_family = AF_PACKET;
245         my_addr.sll_protocol = htons(ETH_P_CAN);
246         my_addr.sll_ifindex =  ifr.ifr_ifindex;
247
248         CHECK(bind(s, (struct sockaddr *)&my_addr, sizeof(struct sockaddr_ll)));
249
250         struct tpacket_req req = {
251                 .tp_block_size = BLOCK_SIZE,
252                 .tp_frame_size = FRAME_SIZE,
253                 .tp_block_nr   = BLOCK_NR,
254                 .tp_frame_nr   = FRAME_NR,
255         };
256         CHECK(setsockopt(s, SOL_PACKET, PACKET_TX_RING, (char *)&req, sizeof(req)));
257
258         ctx->ptr = (char*)CHECKPTR(mmap(0, BLOCK_SIZE*BLOCK_NR, PROT_READ|PROT_WRITE, MAP_SHARED, s, 0));
259
260         ctx->s = s;
261         ctx->out_fn = out_packet_tx;
262         ctx->current = 0;
263 }
264
265 void init_in(struct in_ctx *in)
266 {
267         memset(in, 0, sizeof(*in));
268         switch (in_method) {
269         case IN_READ:
270                 init_read(in);
271                 break;
272         case IN_MMAP:
273         case IN_MMAPBUSY:
274                 init_packet_rx(in);
275                 break;
276         default:
277                 fprintf(stderr, "Unknown \"in method\" %d\n", in_method);
278                 exit(1);
279         }
280 }
281
282 int in(struct in_ctx *ctx, struct can_frame *cf)
283 {
284         return ctx->in_fn(ctx, cf);
285 }
286
287 void init_out(struct out_ctx *out)
288 {
289         memset(out, 0, sizeof(*out));
290         switch (out_method) {
291         case WRITE: init_write(out); break;
292         case OUT_MMAP: init_packet_tx(out); break;
293         default:
294                 fprintf(stderr, "Unknown \"out method\" %d\n", out_method);
295                 exit(1);
296         }
297 }
298
299 int out(struct out_ctx *ctx, struct can_frame *cf)
300 {
301         return ctx->out_fn(ctx, cf);
302 }
303
304 void gw()
305 {
306         struct in_ctx    ic;
307         struct out_ctx   oc;
308         struct can_frame cf;
309
310         init_in(&ic);
311         init_out(&oc);
312
313         VERBOSE("UGW started\n");
314
315         while (1) {
316                 oc.from_in = in(&ic, &cf);
317                 out(&oc, &cf);
318         }
319 }
320
321
322 int main(int argc, char *argv[])
323 {
324         int opt;
325
326         while ((opt = getopt(argc, argv, "b:qr:t:")) != -1) {
327                 switch (opt) {
328                 case 'b':
329                         busy_poll_us = atoi(optarg);
330                         break;
331                 case 'q':
332                         quiet = true;
333                         break;
334                 case 'r':
335                         if (strcmp(optarg, "read") == 0)
336                                 in_method = IN_READ;
337                         else if (strcmp(optarg, "mmap") == 0)
338                                 in_method = IN_MMAP;
339                         else if (strcmp(optarg, "mmapbusy") == 0)
340                                 in_method = IN_MMAPBUSY;
341                         else {
342                                 fprintf(stderr, "Unsuported RX method: %s\n", optarg);
343                                 exit(1);
344                         }
345                         break;
346                 case 't':
347                         if (strcmp(optarg, "write") == 0)
348                                 out_method = WRITE;
349                         else if (strcmp(optarg, "mmap") == 0)
350                                 out_method = OUT_MMAP;
351                         else {
352                                 fprintf(stderr, "Unsuported TX method: %s\n", optarg);
353                                 exit(1);
354                         }
355                         break;
356                 default: /* '?' */
357                         fprintf(stderr, "Usage: %s [in_interface out_interface]\n",
358                                 argv[0]);
359                         exit(EXIT_FAILURE);
360                 }
361         }
362
363         if (optind < argc)
364                 devin  = argv[optind];
365         if (optind+1 < argc)
366                 devout = argv[optind+1];
367
368         gw();
369
370         return 0;
371 }