drivers/media/platform/mx2_emmaprp.c

   1 /*
   2  * Support eMMa-PrP through mem2mem framework.
   3  *
   4  * eMMa-PrP is a piece of HW that allows fetching buffers
   5  * from one memory location and do several operations on
   6  * them such as scaling or format conversion giving, as a result
   7  * a new processed buffer in another memory location.
   8  *
   9  * Based on mem2mem_testdev.c by Pawel Osciak.
  10  *
  11  * Copyright (c) 2011 Vista Silicon S.L.
  12  * Javier Martin <javier.martin@vista-silicon.com>
  13  *
  14  * This program is free software; you can redistribute it and/or modify
  15  * it under the terms of the GNU General Public License as published by the
  16  * Free Software Foundation; either version 2 of the
  17  * License, or (at your option) any later version
  18  */
  19 #include <linux/module.h>
  20 #include <linux/clk.h>
  21 #include <linux/slab.h>
  22 #include <linux/interrupt.h>
  23 #include <linux/io.h>
  24
  25 #include <linux/platform_device.h>
  26 #include <media/v4l2-mem2mem.h>
  27 #include <media/v4l2-device.h>
  28 #include <media/v4l2-ioctl.h>
  29 #include <media/videobuf2-dma-contig.h>
  30 #include <asm/sizes.h>
  31
  32 #define EMMAPRP_MODULE_NAME "mem2mem-emmaprp"
  33
  34 MODULE_DESCRIPTION("Mem-to-mem device which supports eMMa-PrP present in mx2 SoCs");
  35 MODULE_AUTHOR("Javier Martin <javier.martin@vista-silicon.com");
  36 MODULE_LICENSE("GPL");
  37 MODULE_VERSION("0.0.1");
  38
  39 static bool debug;
  40 module_param(debug, bool, 0644);
  41
  42 #define MIN_W 32
  43 #define MIN_H 32
  44 #define MAX_W 2040
  45 #define MAX_H 2046
  46
  47 #define S_ALIGN         1 /* multiple of 2 */
  48 #define W_ALIGN_YUV420  3 /* multiple of 8 */
  49 #define W_ALIGN_OTHERS  2 /* multiple of 4 */
  50 #define H_ALIGN         1 /* multiple of 2 */
  51
  52 /* Flags that indicate a format can be used for capture/output */
  53 #define MEM2MEM_CAPTURE (1 << 0)
  54 #define MEM2MEM_OUTPUT  (1 << 1)
  55
  56 #define MEM2MEM_NAME            "m2m-emmaprp"
  57
  58 /* In bytes, per queue */
  59 #define MEM2MEM_VID_MEM_LIMIT   SZ_16M
  60
  61 #define dprintk(dev, fmt, arg...) \
  62         v4l2_dbg(1, debug, &dev->v4l2_dev, "%s: " fmt, __func__, ## arg)
  63
  64 /* EMMA PrP */
  65 #define PRP_CNTL                        0x00
  66 #define PRP_INTR_CNTL                   0x04
  67 #define PRP_INTRSTATUS                  0x08
  68 #define PRP_SOURCE_Y_PTR                0x0c
  69 #define PRP_SOURCE_CB_PTR               0x10
  70 #define PRP_SOURCE_CR_PTR               0x14
  71 #define PRP_DEST_RGB1_PTR               0x18
  72 #define PRP_DEST_RGB2_PTR               0x1c
  73 #define PRP_DEST_Y_PTR                  0x20
  74 #define PRP_DEST_CB_PTR                 0x24
  75 #define PRP_DEST_CR_PTR                 0x28
  76 #define PRP_SRC_FRAME_SIZE              0x2c
  77 #define PRP_DEST_CH1_LINE_STRIDE        0x30
  78 #define PRP_SRC_PIXEL_FORMAT_CNTL       0x34
  79 #define PRP_CH1_PIXEL_FORMAT_CNTL       0x38
  80 #define PRP_CH1_OUT_IMAGE_SIZE          0x3c
  81 #define PRP_CH2_OUT_IMAGE_SIZE          0x40
  82 #define PRP_SRC_LINE_STRIDE             0x44
  83 #define PRP_CSC_COEF_012                0x48
  84 #define PRP_CSC_COEF_345                0x4c
  85 #define PRP_CSC_COEF_678                0x50
  86 #define PRP_CH1_RZ_HORI_COEF1           0x54
  87 #define PRP_CH1_RZ_HORI_COEF2           0x58
  88 #define PRP_CH1_RZ_HORI_VALID           0x5c
  89 #define PRP_CH1_RZ_VERT_COEF1           0x60
  90 #define PRP_CH1_RZ_VERT_COEF2           0x64
  91 #define PRP_CH1_RZ_VERT_VALID           0x68
  92 #define PRP_CH2_RZ_HORI_COEF1           0x6c
  93 #define PRP_CH2_RZ_HORI_COEF2           0x70
  94 #define PRP_CH2_RZ_HORI_VALID           0x74
  95 #define PRP_CH2_RZ_VERT_COEF1           0x78
  96 #define PRP_CH2_RZ_VERT_COEF2           0x7c
  97 #define PRP_CH2_RZ_VERT_VALID           0x80
  98
  99 #define PRP_CNTL_CH1EN          (1 << 0)
 100 #define PRP_CNTL_CH2EN          (1 << 1)
 101 #define PRP_CNTL_CSIEN          (1 << 2)
 102 #define PRP_CNTL_DATA_IN_YUV420 (0 << 3)
 103 #define PRP_CNTL_DATA_IN_YUV422 (1 << 3)
 104 #define PRP_CNTL_DATA_IN_RGB16  (2 << 3)
 105 #define PRP_CNTL_DATA_IN_RGB32  (3 << 3)
 106 #define PRP_CNTL_CH1_OUT_RGB8   (0 << 5)
 107 #define PRP_CNTL_CH1_OUT_RGB16  (1 << 5)
 108 #define PRP_CNTL_CH1_OUT_RGB32  (2 << 5)
 109 #define PRP_CNTL_CH1_OUT_YUV422 (3 << 5)
 110 #define PRP_CNTL_CH2_OUT_YUV420 (0 << 7)
 111 #define PRP_CNTL_CH2_OUT_YUV422 (1 << 7)
 112 #define PRP_CNTL_CH2_OUT_YUV444 (2 << 7)
 113 #define PRP_CNTL_CH1_LEN        (1 << 9)
 114 #define PRP_CNTL_CH2_LEN        (1 << 10)
 115 #define PRP_CNTL_SKIP_FRAME     (1 << 11)
 116 #define PRP_CNTL_SWRST          (1 << 12)
 117 #define PRP_CNTL_CLKEN          (1 << 13)
 118 #define PRP_CNTL_WEN            (1 << 14)
 119 #define PRP_CNTL_CH1BYP         (1 << 15)
 120 #define PRP_CNTL_IN_TSKIP(x)    ((x) << 16)
 121 #define PRP_CNTL_CH1_TSKIP(x)   ((x) << 19)
 122 #define PRP_CNTL_CH2_TSKIP(x)   ((x) << 22)
 123 #define PRP_CNTL_INPUT_FIFO_LEVEL(x)    ((x) << 25)
 124 #define PRP_CNTL_RZ_FIFO_LEVEL(x)       ((x) << 27)
 125 #define PRP_CNTL_CH2B1EN        (1 << 29)
 126 #define PRP_CNTL_CH2B2EN        (1 << 30)
 127 #define PRP_CNTL_CH2FEN         (1 << 31)
 128
 129 #define PRP_SIZE_HEIGHT(x)      (x)
 130 #define PRP_SIZE_WIDTH(x)       ((x) << 16)
 131
 132 /* IRQ Enable and status register */
 133 #define PRP_INTR_RDERR          (1 << 0)
 134 #define PRP_INTR_CH1WERR        (1 << 1)
 135 #define PRP_INTR_CH2WERR        (1 << 2)
 136 #define PRP_INTR_CH1FC          (1 << 3)
 137 #define PRP_INTR_CH2FC          (1 << 5)
 138 #define PRP_INTR_LBOVF          (1 << 7)
 139 #define PRP_INTR_CH2OVF         (1 << 8)
 140
 141 #define PRP_INTR_ST_RDERR       (1 << 0)
 142 #define PRP_INTR_ST_CH1WERR     (1 << 1)
 143 #define PRP_INTR_ST_CH2WERR     (1 << 2)
 144 #define PRP_INTR_ST_CH2B2CI     (1 << 3)
 145 #define PRP_INTR_ST_CH2B1CI     (1 << 4)
 146 #define PRP_INTR_ST_CH1B2CI     (1 << 5)
 147 #define PRP_INTR_ST_CH1B1CI     (1 << 6)
 148 #define PRP_INTR_ST_LBOVF       (1 << 7)
 149 #define PRP_INTR_ST_CH2OVF      (1 << 8)
 150
 151 struct emmaprp_fmt {
 152         char    *name;
 153         u32     fourcc;
 154         /* Types the format can be used for */
 155         u32     types;
 156 };
 157
 158 static struct emmaprp_fmt formats[] = {
 159         {
 160                 .name   = "YUV 4:2:0 Planar",
 161                 .fourcc = V4L2_PIX_FMT_YUV420,
 162                 .types  = MEM2MEM_CAPTURE,
 163         },
 164         {
 165                 .name   = "4:2:2, packed, YUYV",
 166                 .fourcc = V4L2_PIX_FMT_YUYV,
 167                 .types  = MEM2MEM_OUTPUT,
 168         },
 169 };
 170
 171 /* Per-queue, driver-specific private data */
 172 struct emmaprp_q_data {
 173         unsigned int            width;
 174         unsigned int            height;
 175         unsigned int            sizeimage;
 176         struct emmaprp_fmt      *fmt;
 177 };
 178
 179 enum {
 180         V4L2_M2M_SRC = 0,
 181         V4L2_M2M_DST = 1,
 182 };
 183
 184 #define NUM_FORMATS ARRAY_SIZE(formats)
 185
 186 static struct emmaprp_fmt *find_format(struct v4l2_format *f)
 187 {
 188         struct emmaprp_fmt *fmt;
 189         unsigned int k;
 190
 191         for (k = 0; k < NUM_FORMATS; k++) {
 192                 fmt = &formats[k];
 193                 if (fmt->fourcc == f->fmt.pix.pixelformat)
 194                         break;
 195         }
 196
 197         if (k == NUM_FORMATS)
 198                 return NULL;
 199
 200         return &formats[k];
 201 }
 202
 203 struct emmaprp_dev {
 204         struct v4l2_device      v4l2_dev;
 205         struct video_device     *vfd;
 206
 207         struct mutex            dev_mutex;
 208         spinlock_t              irqlock;
 209
 210         int                     irq_emma;
 211         void __iomem            *base_emma;
 212         struct clk              *clk_emma_ahb, *clk_emma_ipg;
 213         struct resource         *res_emma;
 214
 215         struct v4l2_m2m_dev     *m2m_dev;
 216         struct vb2_alloc_ctx    *alloc_ctx;
 217 };
 218
 219 struct emmaprp_ctx {
 220         struct emmaprp_dev      *dev;
 221         /* Abort requested by m2m */
 222         int                     aborting;
 223         struct emmaprp_q_data   q_data[2];
 224         struct v4l2_m2m_ctx     *m2m_ctx;
 225 };
 226
 227 static struct emmaprp_q_data *get_q_data(struct emmaprp_ctx *ctx,
 228                                          enum v4l2_buf_type type)
 229 {
 230         switch (type) {
 231         case V4L2_BUF_TYPE_VIDEO_OUTPUT:
 232                 return &(ctx->q_data[V4L2_M2M_SRC]);
 233         case V4L2_BUF_TYPE_VIDEO_CAPTURE:
 234                 return &(ctx->q_data[V4L2_M2M_DST]);
 235         default:
 236                 BUG();
 237         }
 238         return NULL;
 239 }
 240
 241 /*
 242  * mem2mem callbacks
 243  */
 244 static void emmaprp_job_abort(void *priv)
 245 {
 246         struct emmaprp_ctx *ctx = priv;
 247         struct emmaprp_dev *pcdev = ctx->dev;
 248
 249         ctx->aborting = 1;
 250
 251         dprintk(pcdev, "Aborting task\n");
 252
 253         v4l2_m2m_job_finish(pcdev->m2m_dev, ctx->m2m_ctx);
 254 }
 255
 256 static void emmaprp_lock(void *priv)
 257 {
 258         struct emmaprp_ctx *ctx = priv;
 259         struct emmaprp_dev *pcdev = ctx->dev;
 260         mutex_lock(&pcdev->dev_mutex);
 261 }
 262
 263 static void emmaprp_unlock(void *priv)
 264 {
 265         struct emmaprp_ctx *ctx = priv;
 266         struct emmaprp_dev *pcdev = ctx->dev;
 267         mutex_unlock(&pcdev->dev_mutex);
 268 }
 269
 270 static inline void emmaprp_dump_regs(struct emmaprp_dev *pcdev)
 271 {
 272         dprintk(pcdev,
 273                 "eMMa-PrP Registers:\n"
 274                 "  SOURCE_Y_PTR = 0x%08X\n"
 275                 "  SRC_FRAME_SIZE = 0x%08X\n"
 276                 "  DEST_Y_PTR = 0x%08X\n"
 277                 "  DEST_CR_PTR = 0x%08X\n"
 278                 "  DEST_CB_PTR = 0x%08X\n"
 279                 "  CH2_OUT_IMAGE_SIZE = 0x%08X\n"
 280                 "  CNTL = 0x%08X\n",
 281                 readl(pcdev->base_emma + PRP_SOURCE_Y_PTR),
 282                 readl(pcdev->base_emma + PRP_SRC_FRAME_SIZE),
 283                 readl(pcdev->base_emma + PRP_DEST_Y_PTR),
 284                 readl(pcdev->base_emma + PRP_DEST_CR_PTR),
 285                 readl(pcdev->base_emma + PRP_DEST_CB_PTR),
 286                 readl(pcdev->base_emma + PRP_CH2_OUT_IMAGE_SIZE),
 287                 readl(pcdev->base_emma + PRP_CNTL));
 288 }
 289
 290 static void emmaprp_device_run(void *priv)
 291 {
 292         struct emmaprp_ctx *ctx = priv;
 293         struct emmaprp_q_data *s_q_data, *d_q_data;
 294         struct vb2_buffer *src_buf, *dst_buf;
 295         struct emmaprp_dev *pcdev = ctx->dev;
 296         unsigned int s_width, s_height;
 297         unsigned int d_width, d_height;
 298         unsigned int d_size;
 299         dma_addr_t p_in, p_out;
 300         u32 tmp;
 301
 302         src_buf = v4l2_m2m_next_src_buf(ctx->m2m_ctx);
 303         dst_buf = v4l2_m2m_next_dst_buf(ctx->m2m_ctx);
 304
 305         s_q_data = get_q_data(ctx, V4L2_BUF_TYPE_VIDEO_OUTPUT);
 306         s_width = s_q_data->width;
 307         s_height = s_q_data->height;
 308
 309         d_q_data = get_q_data(ctx, V4L2_BUF_TYPE_VIDEO_CAPTURE);
 310         d_width = d_q_data->width;
 311         d_height = d_q_data->height;
 312         d_size = d_width * d_height;
 313
 314         p_in = vb2_dma_contig_plane_dma_addr(src_buf, 0);
 315         p_out = vb2_dma_contig_plane_dma_addr(dst_buf, 0);
 316         if (!p_in || !p_out) {
 317                 v4l2_err(&pcdev->v4l2_dev,
 318                          "Acquiring kernel pointers to buffers failed\n");
 319                 return;
 320         }
 321
 322         /* Input frame parameters */
 323         writel(p_in, pcdev->base_emma + PRP_SOURCE_Y_PTR);
 324         writel(PRP_SIZE_WIDTH(s_width) | PRP_SIZE_HEIGHT(s_height),
 325                pcdev->base_emma + PRP_SRC_FRAME_SIZE);
 326
 327         /* Output frame parameters */
 328         writel(p_out, pcdev->base_emma + PRP_DEST_Y_PTR);
 329         writel(p_out + d_size, pcdev->base_emma + PRP_DEST_CB_PTR);
 330         writel(p_out + d_size + (d_size >> 2),
 331                pcdev->base_emma + PRP_DEST_CR_PTR);
 332         writel(PRP_SIZE_WIDTH(d_width) | PRP_SIZE_HEIGHT(d_height),
 333                pcdev->base_emma + PRP_CH2_OUT_IMAGE_SIZE);
 334
 335         /* IRQ configuration */
 336         tmp = readl(pcdev->base_emma + PRP_INTR_CNTL);
 337         writel(tmp | PRP_INTR_RDERR |
 338                 PRP_INTR_CH2WERR |
 339                 PRP_INTR_CH2FC,
 340                 pcdev->base_emma + PRP_INTR_CNTL);
 341
 342         emmaprp_dump_regs(pcdev);
 343
 344         /* Enable transfer */
 345         tmp = readl(pcdev->base_emma + PRP_CNTL);
 346         writel(tmp | PRP_CNTL_CH2_OUT_YUV420 |
 347                 PRP_CNTL_DATA_IN_YUV422 |
 348                 PRP_CNTL_CH2EN,
 349                 pcdev->base_emma + PRP_CNTL);
 350 }
 351
 352 static irqreturn_t emmaprp_irq(int irq_emma, void *data)
 353 {
 354         struct emmaprp_dev *pcdev = data;
 355         struct emmaprp_ctx *curr_ctx;
 356         struct vb2_buffer *src_vb, *dst_vb;
 357         unsigned long flags;
 358         u32 irqst;
 359
 360         /* Check irq flags and clear irq */
 361         irqst = readl(pcdev->base_emma + PRP_INTRSTATUS);
 362         writel(irqst, pcdev->base_emma + PRP_INTRSTATUS);
 363         dprintk(pcdev, "irqst = 0x%08x\n", irqst);
 364
 365         curr_ctx = v4l2_m2m_get_curr_priv(pcdev->m2m_dev);
 366         if (curr_ctx == NULL) {
 367                 pr_err("Instance released before the end of transaction\n");
 368                 return IRQ_HANDLED;
 369         }
 370
 371         if (!curr_ctx->aborting) {
 372                 if ((irqst & PRP_INTR_ST_RDERR) ||
 373                 (irqst & PRP_INTR_ST_CH2WERR)) {
 374                         pr_err("PrP bus error occurred, this transfer is probably corrupted\n");
 375                         writel(PRP_CNTL_SWRST, pcdev->base_emma + PRP_CNTL);
 376                 } else if (irqst & PRP_INTR_ST_CH2B1CI) { /* buffer ready */
 377                         src_vb = v4l2_m2m_src_buf_remove(curr_ctx->m2m_ctx);
 378                         dst_vb = v4l2_m2m_dst_buf_remove(curr_ctx->m2m_ctx);
 379
 380                         spin_lock_irqsave(&pcdev->irqlock, flags);
 381                         v4l2_m2m_buf_done(src_vb, VB2_BUF_STATE_DONE);
 382                         v4l2_m2m_buf_done(dst_vb, VB2_BUF_STATE_DONE);
 383                         spin_unlock_irqrestore(&pcdev->irqlock, flags);
 384                 }
 385         }
 386
 387         v4l2_m2m_job_finish(pcdev->m2m_dev, curr_ctx->m2m_ctx);
 388         return IRQ_HANDLED;
 389 }
 390
 391 /*
 392  * video ioctls
 393  */
 394 static int vidioc_querycap(struct file *file, void *priv,
 395                            struct v4l2_capability *cap)
 396 {
 397         strncpy(cap->driver, MEM2MEM_NAME, sizeof(cap->driver) - 1);
 398         strncpy(cap->card, MEM2MEM_NAME, sizeof(cap->card) - 1);
 399         /*
 400          * This is only a mem-to-mem video device. The capture and output
 401          * device capability flags are left only for backward compatibility
 402          * and are scheduled for removal.
 403          */
 404         cap->capabilities = V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_VIDEO_OUTPUT |
 405                             V4L2_CAP_VIDEO_M2M | V4L2_CAP_STREAMING;
 406         return 0;
 407 }
 408
 409 static int enum_fmt(struct v4l2_fmtdesc *f, u32 type)
 410 {
 411         int i, num;
 412         struct emmaprp_fmt *fmt;
 413
 414         num = 0;
 415
 416         for (i = 0; i < NUM_FORMATS; ++i) {
 417                 if (formats[i].types & type) {
 418                         /* index-th format of type type found ? */
 419                         if (num == f->index)
 420                                 break;
 421                         /* Correct type but haven't reached our index yet,
 422                          * just increment per-type index */
 423                         ++num;
 424                 }
 425         }
 426
 427         if (i < NUM_FORMATS) {
 428                 /* Format found */
 429                 fmt = &formats[i];
 430                 strlcpy(f->description, fmt->name, sizeof(f->description) - 1);
 431                 f->pixelformat = fmt->fourcc;
 432                 return 0;
 433         }
 434
 435         /* Format not found */
 436         return -EINVAL;
 437 }
 438
 439 static int vidioc_enum_fmt_vid_cap(struct file *file, void *priv,
 440                                    struct v4l2_fmtdesc *f)
 441 {
 442         return enum_fmt(f, MEM2MEM_CAPTURE);
 443 }
 444
 445 static int vidioc_enum_fmt_vid_out(struct file *file, void *priv,
 446                                    struct v4l2_fmtdesc *f)
 447 {
 448         return enum_fmt(f, MEM2MEM_OUTPUT);
 449 }
 450
 451 static int vidioc_g_fmt(struct emmaprp_ctx *ctx, struct v4l2_format *f)
 452 {
 453         struct vb2_queue *vq;
 454         struct emmaprp_q_data *q_data;
 455
 456         vq = v4l2_m2m_get_vq(ctx->m2m_ctx, f->type);
 457         if (!vq)
 458                 return -EINVAL;
 459
 460         q_data = get_q_data(ctx, f->type);
 461
 462         f->fmt.pix.width        = q_data->width;
 463         f->fmt.pix.height       = q_data->height;
 464         f->fmt.pix.field        = V4L2_FIELD_NONE;
 465         f->fmt.pix.pixelformat  = q_data->fmt->fourcc;
 466         if (f->fmt.pix.pixelformat == V4L2_PIX_FMT_YUV420)
 467                 f->fmt.pix.bytesperline = q_data->width * 3 / 2;
 468         else /* YUYV */
 469                 f->fmt.pix.bytesperline = q_data->width * 2;
 470         f->fmt.pix.sizeimage    = q_data->sizeimage;
 471
 472         return 0;
 473 }
 474
 475 static int vidioc_g_fmt_vid_out(struct file *file, void *priv,
 476                                 struct v4l2_format *f)
 477 {
 478         return vidioc_g_fmt(priv, f);
 479 }
 480
 481 static int vidioc_g_fmt_vid_cap(struct file *file, void *priv,
 482                                 struct v4l2_format *f)
 483 {
 484         return vidioc_g_fmt(priv, f);
 485 }
 486
 487 static int vidioc_try_fmt(struct v4l2_format *f)
 488 {
 489         enum v4l2_field field;
 490
 491
 492         if (!find_format(f))
 493                 return -EINVAL;
 494
 495         field = f->fmt.pix.field;
 496         if (field == V4L2_FIELD_ANY)
 497                 field = V4L2_FIELD_NONE;
 498         else if (V4L2_FIELD_NONE != field)
 499                 return -EINVAL;
 500
 501         /* V4L2 specification suggests the driver corrects the format struct
 502          * if any of the dimensions is unsupported */
 503         f->fmt.pix.field = field;
 504
 505         if (f->fmt.pix.pixelformat == V4L2_PIX_FMT_YUV420) {
 506                 v4l_bound_align_image(&f->fmt.pix.width, MIN_W, MAX_W,
 507                                       W_ALIGN_YUV420, &f->fmt.pix.height,
 508                                       MIN_H, MAX_H, H_ALIGN, S_ALIGN);
 509                 f->fmt.pix.bytesperline = f->fmt.pix.width * 3 / 2;
 510         } else {
 511                 v4l_bound_align_image(&f->fmt.pix.width, MIN_W, MAX_W,
 512                                       W_ALIGN_OTHERS, &f->fmt.pix.height,
 513                                       MIN_H, MAX_H, H_ALIGN, S_ALIGN);
 514                 f->fmt.pix.bytesperline = f->fmt.pix.width * 2;
 515         }
 516         f->fmt.pix.sizeimage = f->fmt.pix.height * f->fmt.pix.bytesperline;
 517
 518         return 0;
 519 }
 520
 521 static int vidioc_try_fmt_vid_cap(struct file *file, void *priv,
 522                                   struct v4l2_format *f)
 523 {
 524         struct emmaprp_fmt *fmt;
 525         struct emmaprp_ctx *ctx = priv;
 526
 527         fmt = find_format(f);
 528         if (!fmt || !(fmt->types & MEM2MEM_CAPTURE)) {
 529                 v4l2_err(&ctx->dev->v4l2_dev,
 530                          "Fourcc format (0x%08x) invalid.\n",
 531                          f->fmt.pix.pixelformat);
 532                 return -EINVAL;
 533         }
 534
 535         return vidioc_try_fmt(f);
 536 }
 537
 538 static int vidioc_try_fmt_vid_out(struct file *file, void *priv,
 539                                   struct v4l2_format *f)
 540 {
 541         struct emmaprp_fmt *fmt;
 542         struct emmaprp_ctx *ctx = priv;
 543
 544         fmt = find_format(f);
 545         if (!fmt || !(fmt->types & MEM2MEM_OUTPUT)) {
 546                 v4l2_err(&ctx->dev->v4l2_dev,
 547                          "Fourcc format (0x%08x) invalid.\n",
 548                          f->fmt.pix.pixelformat);
 549                 return -EINVAL;
 550         }
 551
 552         return vidioc_try_fmt(f);
 553 }
 554
 555 static int vidioc_s_fmt(struct emmaprp_ctx *ctx, struct v4l2_format *f)
 556 {
 557         struct emmaprp_q_data *q_data;
 558         struct vb2_queue *vq;
 559         int ret;
 560
 561         vq = v4l2_m2m_get_vq(ctx->m2m_ctx, f->type);
 562         if (!vq)
 563                 return -EINVAL;
 564
 565         q_data = get_q_data(ctx, f->type);
 566         if (!q_data)
 567                 return -EINVAL;
 568
 569         if (vb2_is_busy(vq)) {
 570                 v4l2_err(&ctx->dev->v4l2_dev, "%s queue busy\n", __func__);
 571                 return -EBUSY;
 572         }
 573
 574         ret = vidioc_try_fmt(f);
 575         if (ret)
 576                 return ret;
 577
 578         q_data->fmt             = find_format(f);
 579         q_data->width           = f->fmt.pix.width;
 580         q_data->height          = f->fmt.pix.height;
 581         if (q_data->fmt->fourcc == V4L2_PIX_FMT_YUV420)
 582                 q_data->sizeimage = q_data->width * q_data->height * 3 / 2;
 583         else /* YUYV */
 584                 q_data->sizeimage = q_data->width * q_data->height * 2;
 585
 586         dprintk(ctx->dev,
 587                 "Setting format for type %d, wxh: %dx%d, fmt: %d\n",
 588                 f->type, q_data->width, q_data->height, q_data->fmt->fourcc);
 589
 590         return 0;
 591 }
 592
 593 static int vidioc_s_fmt_vid_cap(struct file *file, void *priv,
 594                                 struct v4l2_format *f)
 595 {
 596         int ret;
 597
 598         ret = vidioc_try_fmt_vid_cap(file, priv, f);
 599         if (ret)
 600                 return ret;
 601
 602         return vidioc_s_fmt(priv, f);
 603 }
 604
 605 static int vidioc_s_fmt_vid_out(struct file *file, void *priv,
 606                                 struct v4l2_format *f)
 607 {
 608         int ret;
 609
 610         ret = vidioc_try_fmt_vid_out(file, priv, f);
 611         if (ret)
 612                 return ret;
 613
 614         return vidioc_s_fmt(priv, f);
 615 }
 616
 617 static int vidioc_reqbufs(struct file *file, void *priv,
 618                           struct v4l2_requestbuffers *reqbufs)
 619 {
 620         struct emmaprp_ctx *ctx = priv;
 621
 622         return v4l2_m2m_reqbufs(file, ctx->m2m_ctx, reqbufs);
 623 }
 624
 625 static int vidioc_querybuf(struct file *file, void *priv,
 626                            struct v4l2_buffer *buf)
 627 {
 628         struct emmaprp_ctx *ctx = priv;
 629
 630         return v4l2_m2m_querybuf(file, ctx->m2m_ctx, buf);
 631 }
 632
 633 static int vidioc_qbuf(struct file *file, void *priv, struct v4l2_buffer *buf)
 634 {
 635         struct emmaprp_ctx *ctx = priv;
 636
 637         return v4l2_m2m_qbuf(file, ctx->m2m_ctx, buf);
 638 }
 639
 640 static int vidioc_dqbuf(struct file *file, void *priv, struct v4l2_buffer *buf)
 641 {
 642         struct emmaprp_ctx *ctx = priv;
 643
 644         return v4l2_m2m_dqbuf(file, ctx->m2m_ctx, buf);
 645 }
 646
 647 static int vidioc_streamon(struct file *file, void *priv,
 648                            enum v4l2_buf_type type)
 649 {
 650         struct emmaprp_ctx *ctx = priv;
 651
 652         return v4l2_m2m_streamon(file, ctx->m2m_ctx, type);
 653 }
 654
 655 static int vidioc_streamoff(struct file *file, void *priv,
 656                             enum v4l2_buf_type type)
 657 {
 658         struct emmaprp_ctx *ctx = priv;
 659
 660         return v4l2_m2m_streamoff(file, ctx->m2m_ctx, type);
 661 }
 662
 663 static const struct v4l2_ioctl_ops emmaprp_ioctl_ops = {
 664         .vidioc_querycap        = vidioc_querycap,
 665
 666         .vidioc_enum_fmt_vid_cap = vidioc_enum_fmt_vid_cap,
 667         .vidioc_g_fmt_vid_cap   = vidioc_g_fmt_vid_cap,
 668         .vidioc_try_fmt_vid_cap = vidioc_try_fmt_vid_cap,
 669         .vidioc_s_fmt_vid_cap   = vidioc_s_fmt_vid_cap,
 670
 671         .vidioc_enum_fmt_vid_out = vidioc_enum_fmt_vid_out,
 672         .vidioc_g_fmt_vid_out   = vidioc_g_fmt_vid_out,
 673         .vidioc_try_fmt_vid_out = vidioc_try_fmt_vid_out,
 674         .vidioc_s_fmt_vid_out   = vidioc_s_fmt_vid_out,
 675
 676         .vidioc_reqbufs         = vidioc_reqbufs,
 677         .vidioc_querybuf        = vidioc_querybuf,
 678
 679         .vidioc_qbuf            = vidioc_qbuf,
 680         .vidioc_dqbuf           = vidioc_dqbuf,
 681
 682         .vidioc_streamon        = vidioc_streamon,
 683         .vidioc_streamoff       = vidioc_streamoff,
 684 };
 685
 686
 687 /*
 688  * Queue operations
 689  */
 690 static int emmaprp_queue_setup(struct vb2_queue *vq,
 691                                 const struct v4l2_format *fmt,
 692                                 unsigned int *nbuffers, unsigned int *nplanes,
 693                                 unsigned int sizes[], void *alloc_ctxs[])
 694 {
 695         struct emmaprp_ctx *ctx = vb2_get_drv_priv(vq);
 696         struct emmaprp_q_data *q_data;
 697         unsigned int size, count = *nbuffers;
 698
 699         q_data = get_q_data(ctx, vq->type);
 700
 701         if (q_data->fmt->fourcc == V4L2_PIX_FMT_YUV420)
 702                 size = q_data->width * q_data->height * 3 / 2;
 703         else
 704                 size = q_data->width * q_data->height * 2;
 705
 706         while (size * count > MEM2MEM_VID_MEM_LIMIT)
 707                 (count)--;
 708
 709         *nplanes = 1;
 710         *nbuffers = count;
 711         sizes[0] = size;
 712
 713         alloc_ctxs[0] = ctx->dev->alloc_ctx;
 714
 715         dprintk(ctx->dev, "get %d buffer(s) of size %d each.\n", count, size);
 716
 717         return 0;
 718 }
 719
 720 static int emmaprp_buf_prepare(struct vb2_buffer *vb)
 721 {
 722         struct emmaprp_ctx *ctx = vb2_get_drv_priv(vb->vb2_queue);
 723         struct emmaprp_q_data *q_data;
 724
 725         dprintk(ctx->dev, "type: %d\n", vb->vb2_queue->type);
 726
 727         q_data = get_q_data(ctx, vb->vb2_queue->type);
 728
 729         if (vb2_plane_size(vb, 0) < q_data->sizeimage) {
 730                 dprintk(ctx->dev, "%s data will not fit into plane"
 731                                   "(%lu < %lu)\n", __func__,
 732                                   vb2_plane_size(vb, 0),
 733                                   (long)q_data->sizeimage);
 734                 return -EINVAL;
 735         }
 736
 737         vb2_set_plane_payload(vb, 0, q_data->sizeimage);
 738
 739         return 0;
 740 }
 741
 742 static void emmaprp_buf_queue(struct vb2_buffer *vb)
 743 {
 744         struct emmaprp_ctx *ctx = vb2_get_drv_priv(vb->vb2_queue);
 745         v4l2_m2m_buf_queue(ctx->m2m_ctx, vb);
 746 }
 747
 748 static struct vb2_ops emmaprp_qops = {
 749         .queue_setup     = emmaprp_queue_setup,
 750         .buf_prepare     = emmaprp_buf_prepare,
 751         .buf_queue       = emmaprp_buf_queue,
 752 };
 753
 754 static int queue_init(void *priv, struct vb2_queue *src_vq,
 755                       struct vb2_queue *dst_vq)
 756 {
 757         struct emmaprp_ctx *ctx = priv;
 758         int ret;
 759
 760         src_vq->type = V4L2_BUF_TYPE_VIDEO_OUTPUT;
 761         src_vq->io_modes = VB2_MMAP | VB2_USERPTR;
 762         src_vq->drv_priv = ctx;
 763         src_vq->buf_struct_size = sizeof(struct v4l2_m2m_buffer);
 764         src_vq->ops = &emmaprp_qops;
 765         src_vq->mem_ops = &vb2_dma_contig_memops;
 766
 767         ret = vb2_queue_init(src_vq);
 768         if (ret)
 769                 return ret;
 770
 771         dst_vq->type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
 772         dst_vq->io_modes = VB2_MMAP | VB2_USERPTR;
 773         dst_vq->drv_priv = ctx;
 774         dst_vq->buf_struct_size = sizeof(struct v4l2_m2m_buffer);
 775         dst_vq->ops = &emmaprp_qops;
 776         dst_vq->mem_ops = &vb2_dma_contig_memops;
 777
 778         return vb2_queue_init(dst_vq);
 779 }
 780
 781 /*
 782  * File operations
 783  */
 784 static int emmaprp_open(struct file *file)
 785 {
 786         struct emmaprp_dev *pcdev = video_drvdata(file);
 787         struct emmaprp_ctx *ctx;
 788
 789         ctx = kzalloc(sizeof *ctx, GFP_KERNEL);
 790         if (!ctx)
 791                 return -ENOMEM;
 792
 793         file->private_data = ctx;
 794         ctx->dev = pcdev;
 795
 796         if (mutex_lock_interruptible(&pcdev->dev_mutex)) {
 797                 kfree(ctx);
 798                 return -ERESTARTSYS;
 799         }
 800
 801         ctx->m2m_ctx = v4l2_m2m_ctx_init(pcdev->m2m_dev, ctx, &queue_init);
 802
 803         if (IS_ERR(ctx->m2m_ctx)) {
 804                 int ret = PTR_ERR(ctx->m2m_ctx);
 805
 806                 mutex_unlock(&pcdev->dev_mutex);
 807                 kfree(ctx);
 808                 return ret;
 809         }
 810
 811         clk_prepare_enable(pcdev->clk_emma_ipg);
 812         clk_prepare_enable(pcdev->clk_emma_ahb);
 813         ctx->q_data[V4L2_M2M_SRC].fmt = &formats[1];
 814         ctx->q_data[V4L2_M2M_DST].fmt = &formats[0];
 815         mutex_unlock(&pcdev->dev_mutex);
 816
 817         dprintk(pcdev, "Created instance %p, m2m_ctx: %p\n", ctx, ctx->m2m_ctx);
 818
 819         return 0;
 820 }
 821
 822 static int emmaprp_release(struct file *file)
 823 {
 824         struct emmaprp_dev *pcdev = video_drvdata(file);
 825         struct emmaprp_ctx *ctx = file->private_data;
 826
 827         dprintk(pcdev, "Releasing instance %p\n", ctx);
 828
 829         mutex_lock(&pcdev->dev_mutex);
 830         clk_disable_unprepare(pcdev->clk_emma_ahb);
 831         clk_disable_unprepare(pcdev->clk_emma_ipg);
 832         v4l2_m2m_ctx_release(ctx->m2m_ctx);
 833         mutex_unlock(&pcdev->dev_mutex);
 834         kfree(ctx);
 835
 836         return 0;
 837 }
 838
 839 static unsigned int emmaprp_poll(struct file *file,
 840                                  struct poll_table_struct *wait)
 841 {
 842         struct emmaprp_dev *pcdev = video_drvdata(file);
 843         struct emmaprp_ctx *ctx = file->private_data;
 844         unsigned int res;
 845
 846         mutex_lock(&pcdev->dev_mutex);
 847         res = v4l2_m2m_poll(file, ctx->m2m_ctx, wait);
 848         mutex_unlock(&pcdev->dev_mutex);
 849         return res;
 850 }
 851
 852 static int emmaprp_mmap(struct file *file, struct vm_area_struct *vma)
 853 {
 854         struct emmaprp_dev *pcdev = video_drvdata(file);
 855         struct emmaprp_ctx *ctx = file->private_data;
 856         int ret;
 857
 858         if (mutex_lock_interruptible(&pcdev->dev_mutex))
 859                 return -ERESTARTSYS;
 860         ret = v4l2_m2m_mmap(file, ctx->m2m_ctx, vma);
 861         mutex_unlock(&pcdev->dev_mutex);
 862         return ret;
 863 }
 864
 865 static const struct v4l2_file_operations emmaprp_fops = {
 866         .owner          = THIS_MODULE,
 867         .open           = emmaprp_open,
 868         .release        = emmaprp_release,
 869         .poll           = emmaprp_poll,
 870         .unlocked_ioctl = video_ioctl2,
 871         .mmap           = emmaprp_mmap,
 872 };
 873
 874 static struct video_device emmaprp_videodev = {
 875         .name           = MEM2MEM_NAME,
 876         .fops           = &emmaprp_fops,
 877         .ioctl_ops      = &emmaprp_ioctl_ops,
 878         .minor          = -1,
 879         .release        = video_device_release,
 880         .vfl_dir        = VFL_DIR_M2M,
 881 };
 882
 883 static struct v4l2_m2m_ops m2m_ops = {
 884         .device_run     = emmaprp_device_run,
 885         .job_abort      = emmaprp_job_abort,
 886         .lock           = emmaprp_lock,
 887         .unlock         = emmaprp_unlock,
 888 };
 889
 890 static int emmaprp_probe(struct platform_device *pdev)
 891 {
 892         struct emmaprp_dev *pcdev;
 893         struct video_device *vfd;
 894         struct resource *res_emma;
 895         int irq_emma;
 896         int ret;
 897
 898         pcdev = devm_kzalloc(&pdev->dev, sizeof(*pcdev), GFP_KERNEL);
 899         if (!pcdev)
 900                 return -ENOMEM;
 901
 902         spin_lock_init(&pcdev->irqlock);
 903
 904         pcdev->clk_emma_ipg = devm_clk_get(&pdev->dev, "ipg");
 905         if (IS_ERR(pcdev->clk_emma_ipg)) {
 906                 return PTR_ERR(pcdev->clk_emma_ipg);
 907         }
 908
 909         pcdev->clk_emma_ahb = devm_clk_get(&pdev->dev, "ahb");
 910         if (IS_ERR(pcdev->clk_emma_ahb))
 911                 return PTR_ERR(pcdev->clk_emma_ahb);
 912
 913         irq_emma = platform_get_irq(pdev, 0);
 914         res_emma = platform_get_resource(pdev, IORESOURCE_MEM, 0);
 915         if (irq_emma < 0 || res_emma == NULL) {
 916                 dev_err(&pdev->dev, "Missing platform resources data\n");
 917                 return -ENODEV;
 918         }
 919
 920         ret = v4l2_device_register(&pdev->dev, &pcdev->v4l2_dev);
 921         if (ret)
 922                 return ret;
 923
 924         mutex_init(&pcdev->dev_mutex);
 925
 926         vfd = video_device_alloc();
 927         if (!vfd) {
 928                 v4l2_err(&pcdev->v4l2_dev, "Failed to allocate video device\n");
 929                 ret = -ENOMEM;
 930                 goto unreg_dev;
 931         }
 932
 933         *vfd = emmaprp_videodev;
 934         vfd->lock = &pcdev->dev_mutex;
 935
 936         video_set_drvdata(vfd, pcdev);
 937         snprintf(vfd->name, sizeof(vfd->name), "%s", emmaprp_videodev.name);
 938         pcdev->vfd = vfd;
 939         v4l2_info(&pcdev->v4l2_dev, EMMAPRP_MODULE_NAME
 940                         " Device registered as /dev/video%d\n", vfd->num);
 941
 942         platform_set_drvdata(pdev, pcdev);
 943
 944         pcdev->base_emma = devm_request_and_ioremap(&pdev->dev, res_emma);
 945         if (!pcdev->base_emma) {
 946                 ret = -ENXIO;
 947                 goto rel_vdev;
 948         }
 949
 950         pcdev->irq_emma = irq_emma;
 951         pcdev->res_emma = res_emma;
 952
 953         if (devm_request_irq(&pdev->dev, pcdev->irq_emma, emmaprp_irq,
 954                              0, MEM2MEM_NAME, pcdev) < 0) {
 955                 ret = -ENODEV;
 956                 goto rel_vdev;
 957         }
 958
 959         pcdev->alloc_ctx = vb2_dma_contig_init_ctx(&pdev->dev);
 960         if (IS_ERR(pcdev->alloc_ctx)) {
 961                 v4l2_err(&pcdev->v4l2_dev, "Failed to alloc vb2 context\n");
 962                 ret = PTR_ERR(pcdev->alloc_ctx);
 963                 goto rel_vdev;
 964         }
 965
 966         pcdev->m2m_dev = v4l2_m2m_init(&m2m_ops);
 967         if (IS_ERR(pcdev->m2m_dev)) {
 968                 v4l2_err(&pcdev->v4l2_dev, "Failed to init mem2mem device\n");
 969                 ret = PTR_ERR(pcdev->m2m_dev);
 970                 goto rel_ctx;
 971         }
 972
 973         ret = video_register_device(vfd, VFL_TYPE_GRABBER, 0);
 974         if (ret) {
 975                 v4l2_err(&pcdev->v4l2_dev, "Failed to register video device\n");
 976                 goto rel_m2m;
 977         }
 978
 979         return 0;
 980
 981
 982 rel_m2m:
 983         v4l2_m2m_release(pcdev->m2m_dev);
 984 rel_ctx:
 985         vb2_dma_contig_cleanup_ctx(pcdev->alloc_ctx);
 986 rel_vdev:
 987         video_device_release(vfd);
 988 unreg_dev:
 989         v4l2_device_unregister(&pcdev->v4l2_dev);
 990
 991         return ret;
 992 }
 993
 994 static int emmaprp_remove(struct platform_device *pdev)
 995 {
 996         struct emmaprp_dev *pcdev = platform_get_drvdata(pdev);
 997
 998         v4l2_info(&pcdev->v4l2_dev, "Removing " EMMAPRP_MODULE_NAME);
 999
1000         video_unregister_device(pcdev->vfd);
1001         v4l2_m2m_release(pcdev->m2m_dev);
1002         vb2_dma_contig_cleanup_ctx(pcdev->alloc_ctx);
1003         v4l2_device_unregister(&pcdev->v4l2_dev);
1004
1005         return 0;
1006 }
1007
1008 static struct platform_driver emmaprp_pdrv = {
1009         .probe          = emmaprp_probe,
1010         .remove         = emmaprp_remove,
1011         .driver         = {
1012                 .name   = MEM2MEM_NAME,
1013                 .owner  = THIS_MODULE,
1014         },
1015 };
1016
1017 static void __exit emmaprp_exit(void)
1018 {
1019         platform_driver_unregister(&emmaprp_pdrv);
1020 }
1021
1022 static int __init emmaprp_init(void)
1023 {
1024         return platform_driver_register(&emmaprp_pdrv);
1025 }
1026
1027 module_init(emmaprp_init);
1028 module_exit(emmaprp_exit);