libavcodec/qtrle.c

   1 /*
   2  * Quicktime Animation (RLE) Video Decoder
   3  * Copyright (C) 2004 the ffmpeg project
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file libavcodec/qtrle.c
  24  * QT RLE Video Decoder by Mike Melanson (melanson@pcisys.net)
  25  * For more information about the QT RLE format, visit:
  26  *   http://www.pcisys.net/~melanson/codecs/
  27  *
  28  * The QT RLE decoder has seven modes of operation:
  29  * 1, 2, 4, 8, 16, 24, and 32 bits per pixel. For modes 1, 2, 4, and 8
  30  * the decoder outputs PAL8 colorspace data. 16-bit data yields RGB555
  31  * data. 24-bit data is RGB24 and 32-bit data is RGB32.
  32  */
  33
  34 #include <stdio.h>
  35 #include <stdlib.h>
  36 #include <string.h>
  37
  38 #include "libavutil/intreadwrite.h"
  39 #include "avcodec.h"
  40
  41 typedef struct QtrleContext {
  42
  43     AVCodecContext *avctx;
  44     AVFrame frame;
  45
  46     const unsigned char *buf;
  47     int size;
  48
  49 } QtrleContext;
  50
  51 #define CHECK_STREAM_PTR(n) \
  52   if ((stream_ptr + n) > s->size) { \
  53     av_log (s->avctx, AV_LOG_INFO, "Problem: stream_ptr out of bounds (%d >= %d)\n", \
  54       stream_ptr + n, s->size); \
  55     return; \
  56   }
  57
  58 #define CHECK_PIXEL_PTR(n) \
  59   if ((pixel_ptr + n > pixel_limit) || (pixel_ptr + n < 0)) { \
  60     av_log (s->avctx, AV_LOG_INFO, "Problem: pixel_ptr = %d, pixel_limit = %d\n", \
  61       pixel_ptr + n, pixel_limit); \
  62     return; \
  63   } \
  64
  65 static void qtrle_decode_1bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
  66 {
  67     int rle_code;
  68     int pixel_ptr = 0;
  69     int row_inc = s->frame.linesize[0];
  70     unsigned char pi0, pi1;  /* 2 8-pixel values */
  71     unsigned char *rgb = s->frame.data[0];
  72     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
  73     int skip;
  74
  75     while (lines_to_change) {
  76         CHECK_STREAM_PTR(2);
  77         skip = s->buf[stream_ptr++];
  78         rle_code = (signed char)s->buf[stream_ptr++];
  79         if (rle_code == 0)
  80             break;
  81         if(skip & 0x80) {
  82             lines_to_change--;
  83             row_ptr += row_inc;
  84             pixel_ptr = row_ptr + 2 * (skip & 0x7f);
  85         } else
  86             pixel_ptr += 2 * skip;
  87         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
  88
  89         if (rle_code < 0) {
  90             /* decode the run length code */
  91             rle_code = -rle_code;
  92             /* get the next 2 bytes from the stream, treat them as groups
  93              * of 8 pixels, and output them rle_code times */
  94             CHECK_STREAM_PTR(2);
  95             pi0 = s->buf[stream_ptr++];
  96             pi1 = s->buf[stream_ptr++];
  97             CHECK_PIXEL_PTR(rle_code * 2);
  98
  99             while (rle_code--) {
 100                 rgb[pixel_ptr++] = pi0;
 101                 rgb[pixel_ptr++] = pi1;
 102             }
 103         } else {
 104             /* copy the same pixel directly to output 2 times */
 105             rle_code *= 2;
 106             CHECK_STREAM_PTR(rle_code);
 107             CHECK_PIXEL_PTR(rle_code);
 108
 109             while (rle_code--)
 110                 rgb[pixel_ptr++] = s->buf[stream_ptr++];
 111         }
 112     }
 113 }
 114
 115 static inline void qtrle_decode_2n4bpp(QtrleContext *s, int stream_ptr,
 116                              int row_ptr, int lines_to_change, int bpp)
 117 {
 118     int rle_code, i;
 119     int pixel_ptr;
 120     int row_inc = s->frame.linesize[0];
 121     unsigned char pi[16];  /* 16 palette indices */
 122     unsigned char *rgb = s->frame.data[0];
 123     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 124     int num_pixels = (bpp == 4) ? 8 : 16;
 125
 126     while (lines_to_change--) {
 127         CHECK_STREAM_PTR(2);
 128         pixel_ptr = row_ptr + (num_pixels * (s->buf[stream_ptr++] - 1));
 129
 130         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
 131             if (rle_code == 0) {
 132                 /* there's another skip code in the stream */
 133                 CHECK_STREAM_PTR(1);
 134                 pixel_ptr += (num_pixels * (s->buf[stream_ptr++] - 1));
 135                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 136             } else if (rle_code < 0) {
 137                 /* decode the run length code */
 138                 rle_code = -rle_code;
 139                 /* get the next 4 bytes from the stream, treat them as palette
 140                  * indexes, and output them rle_code times */
 141                 CHECK_STREAM_PTR(4);
 142                 for (i = num_pixels-1; i >= 0; i--) {
 143                     pi[num_pixels-1-i] = (s->buf[stream_ptr] >> ((i*bpp) & 0x07)) & ((1<<bpp)-1);
 144                     stream_ptr+= ((i & ((num_pixels>>2)-1)) == 0);
 145                 }
 146                 CHECK_PIXEL_PTR(rle_code * num_pixels);
 147                 while (rle_code--) {
 148                     for (i = 0; i < num_pixels; i++)
 149                         rgb[pixel_ptr++] = pi[i];
 150                 }
 151             } else {
 152                 /* copy the same pixel directly to output 4 times */
 153                 rle_code *= 4;
 154                 CHECK_STREAM_PTR(rle_code);
 155                 CHECK_PIXEL_PTR(rle_code*(num_pixels>>2));
 156                 while (rle_code--) {
 157                     if(bpp == 4) {
 158                         rgb[pixel_ptr++] = ((s->buf[stream_ptr]) >> 4) & 0x0f;
 159                         rgb[pixel_ptr++] = (s->buf[stream_ptr++]) & 0x0f;
 160                     } else {
 161                         rgb[pixel_ptr++] = ((s->buf[stream_ptr]) >> 6) & 0x03;
 162                         rgb[pixel_ptr++] = ((s->buf[stream_ptr]) >> 4) & 0x03;
 163                         rgb[pixel_ptr++] = ((s->buf[stream_ptr]) >> 2) & 0x03;
 164                         rgb[pixel_ptr++] = (s->buf[stream_ptr++]) & 0x03;
 165                     }
 166                 }
 167             }
 168         }
 169         row_ptr += row_inc;
 170     }
 171 }
 172
 173 static void qtrle_decode_8bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
 174 {
 175     int rle_code;
 176     int pixel_ptr;
 177     int row_inc = s->frame.linesize[0];
 178     unsigned char pi1, pi2, pi3, pi4;  /* 4 palette indexes */
 179     unsigned char *rgb = s->frame.data[0];
 180     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 181
 182     while (lines_to_change--) {
 183         CHECK_STREAM_PTR(2);
 184         pixel_ptr = row_ptr + (4 * (s->buf[stream_ptr++] - 1));
 185
 186         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
 187             if (rle_code == 0) {
 188                 /* there's another skip code in the stream */
 189                 CHECK_STREAM_PTR(1);
 190                 pixel_ptr += (4 * (s->buf[stream_ptr++] - 1));
 191                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 192             } else if (rle_code < 0) {
 193                 /* decode the run length code */
 194                 rle_code = -rle_code;
 195                 /* get the next 4 bytes from the stream, treat them as palette
 196                  * indexes, and output them rle_code times */
 197                 CHECK_STREAM_PTR(4);
 198                 pi1 = s->buf[stream_ptr++];
 199                 pi2 = s->buf[stream_ptr++];
 200                 pi3 = s->buf[stream_ptr++];
 201                 pi4 = s->buf[stream_ptr++];
 202
 203                 CHECK_PIXEL_PTR(rle_code * 4);
 204
 205                 while (rle_code--) {
 206                     rgb[pixel_ptr++] = pi1;
 207                     rgb[pixel_ptr++] = pi2;
 208                     rgb[pixel_ptr++] = pi3;
 209                     rgb[pixel_ptr++] = pi4;
 210                 }
 211             } else {
 212                 /* copy the same pixel directly to output 4 times */
 213                 rle_code *= 4;
 214                 CHECK_STREAM_PTR(rle_code);
 215                 CHECK_PIXEL_PTR(rle_code);
 216
 217                 while (rle_code--) {
 218                     rgb[pixel_ptr++] = s->buf[stream_ptr++];
 219                 }
 220             }
 221         }
 222         row_ptr += row_inc;
 223     }
 224 }
 225
 226 static void qtrle_decode_16bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
 227 {
 228     int rle_code;
 229     int pixel_ptr;
 230     int row_inc = s->frame.linesize[0];
 231     unsigned short rgb16;
 232     unsigned char *rgb = s->frame.data[0];
 233     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 234
 235     while (lines_to_change--) {
 236         CHECK_STREAM_PTR(2);
 237         pixel_ptr = row_ptr + (s->buf[stream_ptr++] - 1) * 2;
 238
 239         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
 240             if (rle_code == 0) {
 241                 /* there's another skip code in the stream */
 242                 CHECK_STREAM_PTR(1);
 243                 pixel_ptr += (s->buf[stream_ptr++] - 1) * 2;
 244                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 245             } else if (rle_code < 0) {
 246                 /* decode the run length code */
 247                 rle_code = -rle_code;
 248                 CHECK_STREAM_PTR(2);
 249                 rgb16 = AV_RB16(&s->buf[stream_ptr]);
 250                 stream_ptr += 2;
 251
 252                 CHECK_PIXEL_PTR(rle_code * 2);
 253
 254                 while (rle_code--) {
 255                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
 256                     pixel_ptr += 2;
 257                 }
 258             } else {
 259                 CHECK_STREAM_PTR(rle_code * 2);
 260                 CHECK_PIXEL_PTR(rle_code * 2);
 261
 262                 /* copy pixels directly to output */
 263                 while (rle_code--) {
 264                     rgb16 = AV_RB16(&s->buf[stream_ptr]);
 265                     stream_ptr += 2;
 266                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
 267                     pixel_ptr += 2;
 268                 }
 269             }
 270         }
 271         row_ptr += row_inc;
 272     }
 273 }
 274
 275 static void qtrle_decode_24bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
 276 {
 277     int rle_code;
 278     int pixel_ptr;
 279     int row_inc = s->frame.linesize[0];
 280     unsigned char r, g, b;
 281     unsigned char *rgb = s->frame.data[0];
 282     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 283
 284     while (lines_to_change--) {
 285         CHECK_STREAM_PTR(2);
 286         pixel_ptr = row_ptr + (s->buf[stream_ptr++] - 1) * 3;
 287
 288         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
 289             if (rle_code == 0) {
 290                 /* there's another skip code in the stream */
 291                 CHECK_STREAM_PTR(1);
 292                 pixel_ptr += (s->buf[stream_ptr++] - 1) * 3;
 293                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 294             } else if (rle_code < 0) {
 295                 /* decode the run length code */
 296                 rle_code = -rle_code;
 297                 CHECK_STREAM_PTR(3);
 298                 r = s->buf[stream_ptr++];
 299                 g = s->buf[stream_ptr++];
 300                 b = s->buf[stream_ptr++];
 301
 302                 CHECK_PIXEL_PTR(rle_code * 3);
 303
 304                 while (rle_code--) {
 305                     rgb[pixel_ptr++] = r;
 306                     rgb[pixel_ptr++] = g;
 307                     rgb[pixel_ptr++] = b;
 308                 }
 309             } else {
 310                 CHECK_STREAM_PTR(rle_code * 3);
 311                 CHECK_PIXEL_PTR(rle_code * 3);
 312
 313                 /* copy pixels directly to output */
 314                 while (rle_code--) {
 315                     rgb[pixel_ptr++] = s->buf[stream_ptr++];
 316                     rgb[pixel_ptr++] = s->buf[stream_ptr++];
 317                     rgb[pixel_ptr++] = s->buf[stream_ptr++];
 318                 }
 319             }
 320         }
 321         row_ptr += row_inc;
 322     }
 323 }
 324
 325 static void qtrle_decode_32bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
 326 {
 327     int rle_code;
 328     int pixel_ptr;
 329     int row_inc = s->frame.linesize[0];
 330     unsigned char a, r, g, b;
 331     unsigned int argb;
 332     unsigned char *rgb = s->frame.data[0];
 333     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 334
 335     while (lines_to_change--) {
 336         CHECK_STREAM_PTR(2);
 337         pixel_ptr = row_ptr + (s->buf[stream_ptr++] - 1) * 4;
 338
 339         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
 340             if (rle_code == 0) {
 341                 /* there's another skip code in the stream */
 342                 CHECK_STREAM_PTR(1);
 343                 pixel_ptr += (s->buf[stream_ptr++] - 1) * 4;
 344                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 345             } else if (rle_code < 0) {
 346                 /* decode the run length code */
 347                 rle_code = -rle_code;
 348                 CHECK_STREAM_PTR(4);
 349                 a = s->buf[stream_ptr++];
 350                 r = s->buf[stream_ptr++];
 351                 g = s->buf[stream_ptr++];
 352                 b = s->buf[stream_ptr++];
 353                 argb = (a << 24) | (r << 16) | (g << 8) | (b << 0);
 354
 355                 CHECK_PIXEL_PTR(rle_code * 4);
 356
 357                 while (rle_code--) {
 358                     *(unsigned int *)(&rgb[pixel_ptr]) = argb;
 359                     pixel_ptr += 4;
 360                 }
 361             } else {
 362                 CHECK_STREAM_PTR(rle_code * 4);
 363                 CHECK_PIXEL_PTR(rle_code * 4);
 364
 365                 /* copy pixels directly to output */
 366                 while (rle_code--) {
 367                     a = s->buf[stream_ptr++];
 368                     r = s->buf[stream_ptr++];
 369                     g = s->buf[stream_ptr++];
 370                     b = s->buf[stream_ptr++];
 371                     argb = (a << 24) | (r << 16) | (g << 8) | (b << 0);
 372                     *(unsigned int *)(&rgb[pixel_ptr]) = argb;
 373                     pixel_ptr += 4;
 374                 }
 375             }
 376         }
 377         row_ptr += row_inc;
 378     }
 379 }
 380
 381 static av_cold int qtrle_decode_init(AVCodecContext *avctx)
 382 {
 383     QtrleContext *s = avctx->priv_data;
 384
 385     s->avctx = avctx;
 386     switch (avctx->bits_per_coded_sample) {
 387     case 1:
 388     case 33:
 389         avctx->pix_fmt = PIX_FMT_MONOWHITE;
 390         break;
 391
 392     case 2:
 393     case 4:
 394     case 8:
 395     case 34:
 396     case 36:
 397     case 40:
 398         avctx->pix_fmt = PIX_FMT_PAL8;
 399         break;
 400
 401     case 16:
 402         avctx->pix_fmt = PIX_FMT_RGB555;
 403         break;
 404
 405     case 24:
 406         avctx->pix_fmt = PIX_FMT_RGB24;
 407         break;
 408
 409     case 32:
 410         avctx->pix_fmt = PIX_FMT_RGB32;
 411         break;
 412
 413     default:
 414         av_log (avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
 415             avctx->bits_per_coded_sample);
 416         break;
 417     }
 418
 419     s->frame.data[0] = NULL;
 420
 421     return 0;
 422 }
 423
 424 static int qtrle_decode_frame(AVCodecContext *avctx,
 425                               void *data, int *data_size,
 426                               AVPacket *avpkt)
 427 {
 428     const uint8_t *buf = avpkt->data;
 429     int buf_size = avpkt->size;
 430     QtrleContext *s = avctx->priv_data;
 431     int header, start_line;
 432     int stream_ptr, height, row_ptr;
 433     int has_palette = 0;
 434
 435     s->buf = buf;
 436     s->size = buf_size;
 437
 438     s->frame.reference = 1;
 439     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE |
 440                             FF_BUFFER_HINTS_REUSABLE | FF_BUFFER_HINTS_READABLE;
 441     if (avctx->reget_buffer(avctx, &s->frame)) {
 442         av_log (s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
 443         return -1;
 444     }
 445
 446     /* check if this frame is even supposed to change */
 447     if (s->size < 8)
 448         goto done;
 449
 450     /* start after the chunk size */
 451     stream_ptr = 4;
 452
 453     /* fetch the header */
 454     header = AV_RB16(&s->buf[stream_ptr]);
 455     stream_ptr += 2;
 456
 457     /* if a header is present, fetch additional decoding parameters */
 458     if (header & 0x0008) {
 459         if(s->size < 14)
 460             goto done;
 461         start_line = AV_RB16(&s->buf[stream_ptr]);
 462         stream_ptr += 4;
 463         height = AV_RB16(&s->buf[stream_ptr]);
 464         stream_ptr += 4;
 465     } else {
 466         start_line = 0;
 467         height = s->avctx->height;
 468     }
 469     row_ptr = s->frame.linesize[0] * start_line;
 470
 471     switch (avctx->bits_per_coded_sample) {
 472     case 1:
 473     case 33:
 474         qtrle_decode_1bpp(s, stream_ptr, row_ptr, height);
 475         break;
 476
 477     case 2:
 478     case 34:
 479         qtrle_decode_2n4bpp(s, stream_ptr, row_ptr, height, 2);
 480         has_palette = 1;
 481         break;
 482
 483     case 4:
 484     case 36:
 485         qtrle_decode_2n4bpp(s, stream_ptr, row_ptr, height, 4);
 486         has_palette = 1;
 487         break;
 488
 489     case 8:
 490     case 40:
 491         qtrle_decode_8bpp(s, stream_ptr, row_ptr, height);
 492         has_palette = 1;
 493         break;
 494
 495     case 16:
 496         qtrle_decode_16bpp(s, stream_ptr, row_ptr, height);
 497         break;
 498
 499     case 24:
 500         qtrle_decode_24bpp(s, stream_ptr, row_ptr, height);
 501         break;
 502
 503     case 32:
 504         qtrle_decode_32bpp(s, stream_ptr, row_ptr, height);
 505         break;
 506
 507     default:
 508         av_log (s->avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
 509             avctx->bits_per_coded_sample);
 510         break;
 511     }
 512
 513     if(has_palette) {
 514         /* make the palette available on the way out */
 515         memcpy(s->frame.data[1], s->avctx->palctrl->palette, AVPALETTE_SIZE);
 516         if (s->avctx->palctrl->palette_changed) {
 517             s->frame.palette_has_changed = 1;
 518             s->avctx->palctrl->palette_changed = 0;
 519         }
 520     }
 521
 522 done:
 523     *data_size = sizeof(AVFrame);
 524     *(AVFrame*)data = s->frame;
 525
 526     /* always report that the buffer was completely consumed */
 527     return buf_size;
 528 }
 529
 530 static av_cold int qtrle_decode_end(AVCodecContext *avctx)
 531 {
 532     QtrleContext *s = avctx->priv_data;
 533
 534     if (s->frame.data[0])
 535         avctx->release_buffer(avctx, &s->frame);
 536
 537     return 0;
 538 }
 539
 540 AVCodec qtrle_decoder = {
 541     "qtrle",
 542     CODEC_TYPE_VIDEO,
 543     CODEC_ID_QTRLE,
 544     sizeof(QtrleContext),
 545     qtrle_decode_init,
 546     NULL,
 547     qtrle_decode_end,
 548     qtrle_decode_frame,
 549     CODEC_CAP_DR1,
 550     .long_name = NULL_IF_CONFIG_SMALL("QuickTime Animation (RLE) video"),
 551 };
 552