libavcodec/rv34.c

   1 /*
   2  * RV30/40 decoder common data
   3  * Copyright (c) 2007 Mike Melanson, Konstantin Shishkov
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file rv34.c
  24  * RV30/40 decoder common data
  25  */
  26
  27 #include "avcodec.h"
  28 #include "dsputil.h"
  29 #include "mpegvideo.h"
  30 #include "golomb.h"
  31 #include "mathops.h"
  32 #include "rectangle.h"
  33
  34 #include "rv34vlc.h"
  35 #include "rv34data.h"
  36 #include "rv34.h"
  37
  38 //#define DEBUG
  39
  40 /** translation of RV30/40 macroblock types to lavc ones */
  41 static const int rv34_mb_type_to_lavc[12] = {
  42     MB_TYPE_INTRA,
  43     MB_TYPE_INTRA16x16              | MB_TYPE_SEPARATE_DC,
  44     MB_TYPE_16x16   | MB_TYPE_L0,
  45     MB_TYPE_8x8     | MB_TYPE_L0,
  46     MB_TYPE_16x16   | MB_TYPE_L0,
  47     MB_TYPE_16x16   | MB_TYPE_L1,
  48     MB_TYPE_SKIP,
  49     MB_TYPE_DIRECT2 | MB_TYPE_16x16,
  50     MB_TYPE_16x8    | MB_TYPE_L0,
  51     MB_TYPE_8x16    | MB_TYPE_L0,
  52     MB_TYPE_16x16   | MB_TYPE_L0L1,
  53     MB_TYPE_16x16   | MB_TYPE_L0    | MB_TYPE_SEPARATE_DC
  54 };
  55
  56
  57 static RV34VLC intra_vlcs[NUM_INTRA_TABLES], inter_vlcs[NUM_INTER_TABLES];
  58
  59 /**
  60  * @defgroup vlc RV30/40 VLC generating functions
  61  * @{
  62  */
  63
  64 /**
  65  * Generate VLC from codeword lengths.
  66  * @param bits   codeword lengths (zeroes are accepted)
  67  * @param size   length of input data
  68  * @param vlc    output VLC
  69  * @param insyms symbols for input codes (NULL for default ones)
  70  */
  71 static void rv34_gen_vlc(const uint8_t *bits, int size, VLC *vlc, const uint8_t *insyms)
  72 {
  73     int i;
  74     int counts[17] = {0}, codes[17];
  75     uint16_t cw[size], syms[size];
  76     uint8_t bits2[size];
  77     int maxbits = 0, realsize = 0;
  78
  79     for(i = 0; i < size; i++){
  80         if(bits[i]){
  81             bits2[realsize] = bits[i];
  82             syms[realsize] = insyms ? insyms[i] : i;
  83             realsize++;
  84             maxbits = FFMAX(maxbits, bits[i]);
  85             counts[bits[i]]++;
  86         }
  87     }
  88
  89     codes[0] = 0;
  90     for(i = 0; i < 16; i++)
  91         codes[i+1] = (codes[i] + counts[i]) << 1;
  92     for(i = 0; i < realsize; i++)
  93         cw[i] = codes[bits2[i]]++;
  94
  95     init_vlc_sparse(vlc, FFMIN(maxbits, 9), realsize,
  96                     bits2, 1, 1,
  97                     cw,    2, 2,
  98                     syms,  2, 2, INIT_VLC_USE_STATIC);
  99 }
 100
 101 /**
 102  * Initialize all tables.
 103  */
 104 static av_cold void rv34_init_tables(void)
 105 {
 106     int i, j, k;
 107
 108     for(i = 0; i < NUM_INTRA_TABLES; i++){
 109         for(j = 0; j < 2; j++){
 110             rv34_gen_vlc(rv34_table_intra_cbppat   [i][j], CBPPAT_VLC_SIZE,   &intra_vlcs[i].cbppattern[j],     NULL);
 111             rv34_gen_vlc(rv34_table_intra_secondpat[i][j], OTHERBLK_VLC_SIZE, &intra_vlcs[i].second_pattern[j], NULL);
 112             rv34_gen_vlc(rv34_table_intra_thirdpat [i][j], OTHERBLK_VLC_SIZE, &intra_vlcs[i].third_pattern[j],  NULL);
 113             for(k = 0; k < 4; k++)
 114                 rv34_gen_vlc(rv34_table_intra_cbp[i][j+k*2],  CBP_VLC_SIZE,   &intra_vlcs[i].cbp[j][k],         rv34_cbp_code);
 115         }
 116         for(j = 0; j < 4; j++)
 117             rv34_gen_vlc(rv34_table_intra_firstpat[i][j], FIRSTBLK_VLC_SIZE, &intra_vlcs[i].first_pattern[j], NULL);
 118         rv34_gen_vlc(rv34_intra_coeff[i], COEFF_VLC_SIZE, &intra_vlcs[i].coefficient, NULL);
 119     }
 120
 121     for(i = 0; i < NUM_INTER_TABLES; i++){
 122         rv34_gen_vlc(rv34_inter_cbppat[i], CBPPAT_VLC_SIZE, &inter_vlcs[i].cbppattern[0], NULL);
 123         for(j = 0; j < 4; j++)
 124             rv34_gen_vlc(rv34_inter_cbp[i][j], CBP_VLC_SIZE, &inter_vlcs[i].cbp[0][j], rv34_cbp_code);
 125         for(j = 0; j < 2; j++){
 126             rv34_gen_vlc(rv34_table_inter_firstpat [i][j], FIRSTBLK_VLC_SIZE, &inter_vlcs[i].first_pattern[j],  NULL);
 127             rv34_gen_vlc(rv34_table_inter_secondpat[i][j], OTHERBLK_VLC_SIZE, &inter_vlcs[i].second_pattern[j], NULL);
 128             rv34_gen_vlc(rv34_table_inter_thirdpat [i][j], OTHERBLK_VLC_SIZE, &inter_vlcs[i].third_pattern[j],  NULL);
 129         }
 130         rv34_gen_vlc(rv34_inter_coeff[i], COEFF_VLC_SIZE, &inter_vlcs[i].coefficient, NULL);
 131     }
 132 }
 133
 134 /** @} */ // vlc group
 135
 136
 137 /**
 138  * @defgroup transform RV30/40 inverse transform functions
 139  * @{
 140  */
 141
 142 static av_always_inline void rv34_row_transform(int temp[16], DCTELEM *block)
 143 {
 144     int i;
 145
 146     for(i=0; i<4; i++){
 147         const int z0= 13*(block[i+8*0] +    block[i+8*2]);
 148         const int z1= 13*(block[i+8*0] -    block[i+8*2]);
 149         const int z2=  7* block[i+8*1] - 17*block[i+8*3];
 150         const int z3= 17* block[i+8*1] +  7*block[i+8*3];
 151
 152         temp[4*i+0]= z0+z3;
 153         temp[4*i+1]= z1+z2;
 154         temp[4*i+2]= z1-z2;
 155         temp[4*i+3]= z0-z3;
 156     }
 157 }
 158
 159 /**
 160  * Real Video 3.0/4.0 inverse transform
 161  * Code is almost the same as in SVQ3, only scaling is different.
 162  */
 163 static void rv34_inv_transform(DCTELEM *block){
 164     int temp[16];
 165     int i;
 166
 167     rv34_row_transform(temp, block);
 168
 169     for(i=0; i<4; i++){
 170         const int z0= 13*(temp[4*0+i] +    temp[4*2+i]) + 0x200;
 171         const int z1= 13*(temp[4*0+i] -    temp[4*2+i]) + 0x200;
 172         const int z2=  7* temp[4*1+i] - 17*temp[4*3+i];
 173         const int z3= 17* temp[4*1+i] +  7*temp[4*3+i];
 174
 175         block[i*8+0]= (z0 + z3)>>10;
 176         block[i*8+1]= (z1 + z2)>>10;
 177         block[i*8+2]= (z1 - z2)>>10;
 178         block[i*8+3]= (z0 - z3)>>10;
 179     }
 180
 181 }
 182
 183 /**
 184  * RealVideo 3.0/4.0 inverse transform for DC block
 185  *
 186  * Code is almost the same as rv34_inv_transform()
 187  * but final coefficients are multiplied by 1.5 and have no rounding.
 188  */
 189 static void rv34_inv_transform_noround(DCTELEM *block){
 190     int temp[16];
 191     int i;
 192
 193     rv34_row_transform(temp, block);
 194
 195     for(i=0; i<4; i++){
 196         const int z0= 13*(temp[4*0+i] +    temp[4*2+i]);
 197         const int z1= 13*(temp[4*0+i] -    temp[4*2+i]);
 198         const int z2=  7* temp[4*1+i] - 17*temp[4*3+i];
 199         const int z3= 17* temp[4*1+i] +  7*temp[4*3+i];
 200
 201         block[i*8+0]= ((z0 + z3)*3)>>11;
 202         block[i*8+1]= ((z1 + z2)*3)>>11;
 203         block[i*8+2]= ((z1 - z2)*3)>>11;
 204         block[i*8+3]= ((z0 - z3)*3)>>11;
 205     }
 206
 207 }
 208
 209 /** @} */ // transform
 210
 211
 212 /**
 213  * @defgroup block RV30/40 4x4 block decoding functions
 214  * @{
 215  */
 216
 217 /**
 218  * Decode coded block pattern.
 219  */
 220 static int rv34_decode_cbp(GetBitContext *gb, RV34VLC *vlc, int table)
 221 {
 222     int pattern, code, cbp=0;
 223     int ones;
 224     static const int cbp_masks[3] = {0x100000, 0x010000, 0x110000};
 225     static const int shifts[4] = { 0, 2, 8, 10 };
 226     int *curshift = shifts;
 227     int i, t, mask;
 228
 229     code = get_vlc2(gb, vlc->cbppattern[table].table, 9, 2);
 230     pattern = code & 0xF;
 231     code >>= 4;
 232
 233     ones = rv34_count_ones[pattern];
 234
 235     for(mask = 8; mask; mask >>= 1, curshift++){
 236         if(pattern & mask)
 237             cbp |= get_vlc2(gb, vlc->cbp[table][ones].table, vlc->cbp[table][ones].bits, 1) << curshift[0];
 238     }
 239
 240     for(i = 0; i < 4; i++){
 241         t = modulo_three_table[code][i];
 242         if(t == 1)
 243             cbp |= cbp_masks[get_bits1(gb)] << i;
 244         if(t == 2)
 245             cbp |= cbp_masks[2] << i;
 246     }
 247     return cbp;
 248 }
 249
 250 /**
 251  * Get one coefficient value from the bistream and store it.
 252  */
 253 static inline void decode_coeff(DCTELEM *dst, int coef, int esc, GetBitContext *gb, VLC* vlc)
 254 {
 255     if(coef){
 256         if(coef == esc){
 257             coef = get_vlc2(gb, vlc->table, 9, 2);
 258             if(coef > 23){
 259                 coef -= 23;
 260                 coef = 22 + ((1 << coef) | get_bits(gb, coef));
 261             }
 262             coef += esc;
 263         }
 264         if(get_bits1(gb))
 265             coef = -coef;
 266         *dst = coef;
 267     }
 268 }
 269
 270 /**
 271  * Decode 2x2 subblock of coefficients.
 272  */
 273 static inline void decode_subblock(DCTELEM *dst, int code, const int is_block2, GetBitContext *gb, VLC *vlc)
 274 {
 275     int coeffs[4];
 276
 277     coeffs[0] = modulo_three_table[code][0];
 278     coeffs[1] = modulo_three_table[code][1];
 279     coeffs[2] = modulo_three_table[code][2];
 280     coeffs[3] = modulo_three_table[code][3];
 281     decode_coeff(dst  , coeffs[0], 3, gb, vlc);
 282     if(is_block2){
 283         decode_coeff(dst+8, coeffs[1], 2, gb, vlc);
 284         decode_coeff(dst+1, coeffs[2], 2, gb, vlc);
 285     }else{
 286         decode_coeff(dst+1, coeffs[1], 2, gb, vlc);
 287         decode_coeff(dst+8, coeffs[2], 2, gb, vlc);
 288     }
 289     decode_coeff(dst+9, coeffs[3], 2, gb, vlc);
 290 }
 291
 292 /**
 293  * Decode coefficients for 4x4 block.
 294  *
 295  * This is done by filling 2x2 subblocks with decoded coefficients
 296  * in this order (the same for subblocks and subblock coefficients):
 297  *  o--o
 298  *    /
 299  *   /
 300  *  o--o
 301  */
 302
 303 static inline void rv34_decode_block(DCTELEM *dst, GetBitContext *gb, RV34VLC *rvlc, int fc, int sc)
 304 {
 305     int code, pattern;
 306
 307     code = get_vlc2(gb, rvlc->first_pattern[fc].table, 9, 2);
 308
 309     pattern = code & 0x7;
 310
 311     code >>= 3;
 312     decode_subblock(dst, code, 0, gb, &rvlc->coefficient);
 313
 314     if(pattern & 4){
 315         code = get_vlc2(gb, rvlc->second_pattern[sc].table, 9, 2);
 316         decode_subblock(dst + 2, code, 0, gb, &rvlc->coefficient);
 317     }
 318     if(pattern & 2){ // Looks like coefficients 1 and 2 are swapped for this block
 319         code = get_vlc2(gb, rvlc->second_pattern[sc].table, 9, 2);
 320         decode_subblock(dst + 8*2, code, 1, gb, &rvlc->coefficient);
 321     }
 322     if(pattern & 1){
 323         code = get_vlc2(gb, rvlc->third_pattern[sc].table, 9, 2);
 324         decode_subblock(dst + 8*2+2, code, 0, gb, &rvlc->coefficient);
 325     }
 326
 327 }
 328
 329 /**
 330  * Dequantize ordinary 4x4 block.
 331  * @todo optimize
 332  */
 333 static inline void rv34_dequant4x4(DCTELEM *block, int Qdc, int Q)
 334 {
 335     int i, j;
 336
 337     block[0] = (block[0] * Qdc + 8) >> 4;
 338     for(i = 0; i < 4; i++)
 339         for(j = !i; j < 4; j++)
 340             block[j + i*8] = (block[j + i*8] * Q + 8) >> 4;
 341 }
 342
 343 /**
 344  * Dequantize 4x4 block of DC values for 16x16 macroblock.
 345  * @todo optimize
 346  */
 347 static inline void rv34_dequant4x4_16x16(DCTELEM *block, int Qdc, int Q)
 348 {
 349     int i;
 350
 351     for(i = 0; i < 3; i++)
 352          block[rv34_dezigzag[i]] = (block[rv34_dezigzag[i]] * Qdc + 8) >> 4;
 353     for(; i < 16; i++)
 354          block[rv34_dezigzag[i]] = (block[rv34_dezigzag[i]] * Q + 8) >> 4;
 355 }
 356 /** @} */ //block functions
 357
 358
 359 /**
 360  * @defgroup bitstream RV30/40 bitstream parsing
 361  * @{
 362  */
 363
 364 /**
 365  * Decode starting slice position.
 366  * @todo Maybe replace with ff_h263_decode_mba() ?
 367  */
 368 int ff_rv34_get_start_offset(GetBitContext *gb, int mb_size)
 369 {
 370     int i;
 371     for(i = 0; i < 5; i++)
 372         if(rv34_mb_max_sizes[i] >= mb_size - 1)
 373             break;
 374     return rv34_mb_bits_sizes[i];
 375 }
 376
 377 /**
 378  * Select VLC set for decoding from current quantizer, modifier and frame type.
 379  */
 380 static inline RV34VLC* choose_vlc_set(int quant, int mod, int type)
 381 {
 382     if(mod == 2 && quant < 19) quant += 10;
 383     else if(mod && quant < 26) quant += 5;
 384     return type ? &inter_vlcs[rv34_quant_to_vlc_set[1][av_clip(quant, 0, 30)]]
 385                 : &intra_vlcs[rv34_quant_to_vlc_set[0][av_clip(quant, 0, 30)]];
 386 }
 387
 388 /**
 389  * Decode quantizer difference and return modified quantizer.
 390  */
 391 static inline int rv34_decode_dquant(GetBitContext *gb, int quant)
 392 {
 393     if(get_bits1(gb))
 394         return rv34_dquant_tab[get_bits1(gb)][quant];
 395     else
 396         return get_bits(gb, 5);
 397 }
 398
 399 /** @} */ //bitstream functions
 400
 401 /**
 402  * @defgroup mv motion vector related code (prediction, reconstruction, motion compensation)
 403  * @{
 404  */
 405
 406 /** macroblock partition width in 8x8 blocks */
 407 static const uint8_t part_sizes_w[RV34_MB_TYPES] = { 2, 2, 2, 1, 2, 2, 2, 2, 2, 1, 2, 2 };
 408
 409 /** macroblock partition height in 8x8 blocks */
 410 static const uint8_t part_sizes_h[RV34_MB_TYPES] = { 2, 2, 2, 1, 2, 2, 2, 2, 1, 2, 2, 2 };
 411
 412 /** availability index for subblocks */
 413 static const uint8_t avail_indexes[4] = { 5, 6, 9, 10 };
 414
 415 /**
 416  * motion vector prediction
 417  *
 418  * Motion prediction performed for the block by using median prediction of
 419  * motion vectors from the left, top and right top blocks but in corner cases
 420  * some other vectors may be used instead.
 421  */
 422 static void rv34_pred_mv(RV34DecContext *r, int block_type, int subblock_no, int dmv_no)
 423 {
 424     MpegEncContext *s = &r->s;
 425     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
 426     int A[2] = {0}, B[2], C[2];
 427     int i, j;
 428     int mx, my;
 429     int avail_index = avail_indexes[subblock_no];
 430     int c_off = part_sizes_w[block_type];
 431
 432     mv_pos += (subblock_no & 1) + (subblock_no >> 1)*s->b8_stride;
 433     if(subblock_no == 3)
 434         c_off = -1;
 435
 436     if(r->avail_cache[avail_index - 1]){
 437         A[0] = s->current_picture_ptr->motion_val[0][mv_pos-1][0];
 438         A[1] = s->current_picture_ptr->motion_val[0][mv_pos-1][1];
 439     }
 440     if(r->avail_cache[avail_index - 4]){
 441         B[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride][0];
 442         B[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride][1];
 443     }else{
 444         B[0] = A[0];
 445         B[1] = A[1];
 446     }
 447     if(!r->avail_cache[avail_index - 4 + c_off]){
 448         if(r->avail_cache[avail_index - 4] && (r->avail_cache[avail_index - 1] || r->rv30)){
 449             C[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride-1][0];
 450             C[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride-1][1];
 451         }else{
 452             C[0] = A[0];
 453             C[1] = A[1];
 454         }
 455     }else{
 456         C[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride+c_off][0];
 457         C[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride+c_off][1];
 458     }
 459     mx = mid_pred(A[0], B[0], C[0]);
 460     my = mid_pred(A[1], B[1], C[1]);
 461     mx += r->dmv[dmv_no][0];
 462     my += r->dmv[dmv_no][1];
 463     for(j = 0; j < part_sizes_h[block_type]; j++){
 464         for(i = 0; i < part_sizes_w[block_type]; i++){
 465             s->current_picture_ptr->motion_val[0][mv_pos + i + j*s->b8_stride][0] = mx;
 466             s->current_picture_ptr->motion_val[0][mv_pos + i + j*s->b8_stride][1] = my;
 467         }
 468     }
 469 }
 470
 471 #define GET_PTS_DIFF(a, b) ((a - b + 8192) & 0x1FFF)
 472
 473 /**
 474  * Calculate motion vector component that should be added for direct blocks.
 475  */
 476 static int calc_add_mv(RV34DecContext *r, int dir, int val)
 477 {
 478     int refdist = GET_PTS_DIFF(r->next_pts, r->last_pts);
 479     int dist = dir ? -GET_PTS_DIFF(r->next_pts, r->cur_pts) : GET_PTS_DIFF(r->cur_pts, r->last_pts);
 480     int mul;
 481
 482     if(!refdist) return 0;
 483     mul = (dist << 14) / refdist;
 484     return (val * mul + 0x2000) >> 14;
 485 }
 486
 487 /**
 488  * Predict motion vector for B-frame macroblock.
 489  */
 490 static inline void rv34_pred_b_vector(int A[2], int B[2], int C[2],
 491                                       int A_avail, int B_avail, int C_avail,
 492                                       int *mx, int *my)
 493 {
 494     if(A_avail + B_avail + C_avail != 3){
 495         *mx = A[0] + B[0] + C[0];
 496         *my = A[1] + B[1] + C[1];
 497         if(A_avail + B_avail + C_avail == 2){
 498             *mx /= 2;
 499             *my /= 2;
 500         }
 501     }else{
 502         *mx = mid_pred(A[0], B[0], C[0]);
 503         *my = mid_pred(A[1], B[1], C[1]);
 504     }
 505 }
 506
 507 /**
 508  * motion vector prediction for B-frames
 509  */
 510 static void rv34_pred_mv_b(RV34DecContext *r, int block_type, int dir)
 511 {
 512     MpegEncContext *s = &r->s;
 513     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
 514     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
 515     int A[2], B[2], C[2];
 516     int has_A = 0, has_B = 0, has_C = 0;
 517     int mx, my;
 518     int i, j;
 519     Picture *cur_pic = s->current_picture_ptr;
 520     const int mask = dir ? MB_TYPE_L1 : MB_TYPE_L0;
 521     int type = cur_pic->mb_type[mb_pos];
 522
 523     memset(A, 0, sizeof(A));
 524     memset(B, 0, sizeof(B));
 525     memset(C, 0, sizeof(C));
 526     if((r->avail_cache[5-1] & type) & mask){
 527         A[0] = cur_pic->motion_val[dir][mv_pos - 1][0];
 528         A[1] = cur_pic->motion_val[dir][mv_pos - 1][1];
 529         has_A = 1;
 530     }
 531     if((r->avail_cache[5-4] & type) & mask){
 532         B[0] = cur_pic->motion_val[dir][mv_pos - s->b8_stride][0];
 533         B[1] = cur_pic->motion_val[dir][mv_pos - s->b8_stride][1];
 534         has_B = 1;
 535     }
 536     if((r->avail_cache[5-2] & type) & mask){
 537         C[0] = cur_pic->motion_val[dir][mv_pos - s->b8_stride + 2][0];
 538         C[1] = cur_pic->motion_val[dir][mv_pos - s->b8_stride + 2][1];
 539         has_C = 1;
 540     }else if((s->mb_x+1) == s->mb_width && (r->avail_cache[5-5] & type) & mask){
 541         C[0] = cur_pic->motion_val[dir][mv_pos - s->b8_stride - 1][0];
 542         C[1] = cur_pic->motion_val[dir][mv_pos - s->b8_stride - 1][1];
 543         has_C = 1;
 544     }
 545
 546     rv34_pred_b_vector(A, B, C, has_A, has_B, has_C, &mx, &my);
 547
 548     mx += r->dmv[dir][0];
 549     my += r->dmv[dir][1];
 550
 551     for(j = 0; j < 2; j++){
 552         for(i = 0; i < 2; i++){
 553             cur_pic->motion_val[dir][mv_pos + i + j*s->b8_stride][0] = mx;
 554             cur_pic->motion_val[dir][mv_pos + i + j*s->b8_stride][1] = my;
 555         }
 556     }
 557     if(block_type == RV34_MB_B_BACKWARD || block_type == RV34_MB_B_FORWARD)
 558         fill_rectangle(cur_pic->motion_val[!dir][mv_pos], 2, 2, s->b8_stride, 0, 4);
 559 }
 560
 561 /**
 562  * motion vector prediction - RV3 version
 563  */
 564 static void rv34_pred_mv_rv3(RV34DecContext *r, int block_type, int dir)
 565 {
 566     MpegEncContext *s = &r->s;
 567     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
 568     int A[2] = {0}, B[2], C[2];
 569     int i, j, k;
 570     int mx, my;
 571     int avail_index = avail_indexes[0];
 572
 573     if(r->avail_cache[avail_index - 1]){
 574         A[0] = s->current_picture_ptr->motion_val[0][mv_pos-1][0];
 575         A[1] = s->current_picture_ptr->motion_val[0][mv_pos-1][1];
 576     }
 577     if(r->avail_cache[avail_index - 4]){
 578         B[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride][0];
 579         B[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride][1];
 580     }else{
 581         B[0] = A[0];
 582         B[1] = A[1];
 583     }
 584     if(!r->avail_cache[avail_index - 4 + 2]){
 585         if(r->avail_cache[avail_index - 4] && (r->avail_cache[avail_index - 1])){
 586             C[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride-1][0];
 587             C[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride-1][1];
 588         }else{
 589             C[0] = A[0];
 590             C[1] = A[1];
 591         }
 592     }else{
 593         C[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride+2][0];
 594         C[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride+2][1];
 595     }
 596     mx = mid_pred(A[0], B[0], C[0]);
 597     my = mid_pred(A[1], B[1], C[1]);
 598     mx += r->dmv[0][0];
 599     my += r->dmv[0][1];
 600     for(j = 0; j < 2; j++){
 601         for(i = 0; i < 2; i++){
 602             for(k = 0; k < 2; k++){
 603                 s->current_picture_ptr->motion_val[k][mv_pos + i + j*s->b8_stride][0] = mx;
 604                 s->current_picture_ptr->motion_val[k][mv_pos + i + j*s->b8_stride][1] = my;
 605             }
 606         }
 607     }
 608 }
 609
 610 static const int chroma_coeffs[3] = { 0, 3, 5 };
 611
 612 /**
 613  * generic motion compensation function
 614  *
 615  * @param r decoder context
 616  * @param block_type type of the current block
 617  * @param xoff horizontal offset from the start of the current block
 618  * @param yoff vertical offset from the start of the current block
 619  * @param mv_off offset to the motion vector information
 620  * @param width width of the current partition in 8x8 blocks
 621  * @param height height of the current partition in 8x8 blocks
 622  * @param dir motion compensation direction (i.e. from the last or the next reference frame)
 623  * @param thirdpel motion vectors are specified in 1/3 of pixel
 624  * @param qpel_mc a set of functions used to perform luma motion compensation
 625  * @param chroma_mc a set of functions used to perform chroma motion compensation
 626  */
 627 static inline void rv34_mc(RV34DecContext *r, const int block_type,
 628                           const int xoff, const int yoff, int mv_off,
 629                           const int width, const int height, int dir,
 630                           const int thirdpel,
 631                           qpel_mc_func (*qpel_mc)[16],
 632                           h264_chroma_mc_func (*chroma_mc))
 633 {
 634     MpegEncContext *s = &r->s;
 635     uint8_t *Y, *U, *V, *srcY, *srcU, *srcV;
 636     int dxy, mx, my, umx, umy, lx, ly, uvmx, uvmy, src_x, src_y, uvsrc_x, uvsrc_y;
 637     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride + mv_off;
 638     int is16x16 = 1;
 639
 640     if(thirdpel){
 641         int chroma_mx, chroma_my;
 642         mx = (s->current_picture_ptr->motion_val[dir][mv_pos][0] + (3 << 24)) / 3 - (1 << 24);
 643         my = (s->current_picture_ptr->motion_val[dir][mv_pos][1] + (3 << 24)) / 3 - (1 << 24);
 644         lx = (s->current_picture_ptr->motion_val[dir][mv_pos][0] + (3 << 24)) % 3;
 645         ly = (s->current_picture_ptr->motion_val[dir][mv_pos][1] + (3 << 24)) % 3;
 646         chroma_mx = (s->current_picture_ptr->motion_val[dir][mv_pos][0] + 1) >> 1;
 647         chroma_my = (s->current_picture_ptr->motion_val[dir][mv_pos][1] + 1) >> 1;
 648         umx = (chroma_mx + (3 << 24)) / 3 - (1 << 24);
 649         umy = (chroma_my + (3 << 24)) / 3 - (1 << 24);
 650         uvmx = chroma_coeffs[(chroma_mx + (3 << 24)) % 3];
 651         uvmy = chroma_coeffs[(chroma_my + (3 << 24)) % 3];
 652     }else{
 653         int cx, cy;
 654         mx = s->current_picture_ptr->motion_val[dir][mv_pos][0] >> 2;
 655         my = s->current_picture_ptr->motion_val[dir][mv_pos][1] >> 2;
 656         lx = s->current_picture_ptr->motion_val[dir][mv_pos][0] & 3;
 657         ly = s->current_picture_ptr->motion_val[dir][mv_pos][1] & 3;
 658         cx = s->current_picture_ptr->motion_val[dir][mv_pos][0] / 2;
 659         cy = s->current_picture_ptr->motion_val[dir][mv_pos][1] / 2;
 660         umx = cx >> 2;
 661         umy = cy >> 2;
 662         uvmx = (cx & 3) << 1;
 663         uvmy = (cy & 3) << 1;
 664         //due to some flaw RV40 uses the same MC compensation routine for H2V2 and H3V3
 665         if(uvmx == 6 && uvmy == 6)
 666             uvmx = uvmy = 4;
 667     }
 668     dxy = ly*4 + lx;
 669     srcY = dir ? s->next_picture_ptr->data[0] : s->last_picture_ptr->data[0];
 670     srcU = dir ? s->next_picture_ptr->data[1] : s->last_picture_ptr->data[1];
 671     srcV = dir ? s->next_picture_ptr->data[2] : s->last_picture_ptr->data[2];
 672     src_x = s->mb_x * 16 + xoff + mx;
 673     src_y = s->mb_y * 16 + yoff + my;
 674     uvsrc_x = s->mb_x * 8 + (xoff >> 1) + umx;
 675     uvsrc_y = s->mb_y * 8 + (yoff >> 1) + umy;
 676     srcY += src_y * s->linesize + src_x;
 677     srcU += uvsrc_y * s->uvlinesize + uvsrc_x;
 678     srcV += uvsrc_y * s->uvlinesize + uvsrc_x;
 679     if(   (unsigned)(src_x - !!lx*2) > s->h_edge_pos - !!lx*2 - (width <<3) - 4
 680        || (unsigned)(src_y - !!ly*2) > s->v_edge_pos - !!ly*2 - (height<<3) - 4){
 681         uint8_t *uvbuf= s->edge_emu_buffer + 22 * s->linesize;
 682
 683         srcY -= 2 + 2*s->linesize;
 684         ff_emulated_edge_mc(s->edge_emu_buffer, srcY, s->linesize, (width<<3)+6, (height<<3)+6,
 685                             src_x - 2, src_y - 2, s->h_edge_pos, s->v_edge_pos);
 686         srcY = s->edge_emu_buffer + 2 + 2*s->linesize;
 687         ff_emulated_edge_mc(uvbuf     , srcU, s->uvlinesize, (width<<2)+1, (height<<2)+1,
 688                             uvsrc_x, uvsrc_y, s->h_edge_pos >> 1, s->v_edge_pos >> 1);
 689         ff_emulated_edge_mc(uvbuf + 16, srcV, s->uvlinesize, (width<<2)+1, (height<<2)+1,
 690                             uvsrc_x, uvsrc_y, s->h_edge_pos >> 1, s->v_edge_pos >> 1);
 691         srcU = uvbuf;
 692         srcV = uvbuf + 16;
 693     }
 694     Y = s->dest[0] + xoff      + yoff     *s->linesize;
 695     U = s->dest[1] + (xoff>>1) + (yoff>>1)*s->uvlinesize;
 696     V = s->dest[2] + (xoff>>1) + (yoff>>1)*s->uvlinesize;
 697
 698     if(block_type == RV34_MB_P_16x8){
 699         qpel_mc[1][dxy](Y, srcY, s->linesize);
 700         Y    += 8;
 701         srcY += 8;
 702     }else if(block_type == RV34_MB_P_8x16){
 703         qpel_mc[1][dxy](Y, srcY, s->linesize);
 704         Y    += 8 * s->linesize;
 705         srcY += 8 * s->linesize;
 706     }
 707     is16x16 = (block_type != RV34_MB_P_8x8) && (block_type != RV34_MB_P_16x8) && (block_type != RV34_MB_P_8x16);
 708     qpel_mc[!is16x16][dxy](Y, srcY, s->linesize);
 709     chroma_mc[2-width]   (U, srcU, s->uvlinesize, height*4, uvmx, uvmy);
 710     chroma_mc[2-width]   (V, srcV, s->uvlinesize, height*4, uvmx, uvmy);
 711 }
 712
 713 static void rv34_mc_1mv(RV34DecContext *r, const int block_type,
 714                         const int xoff, const int yoff, int mv_off,
 715                         const int width, const int height, int dir)
 716 {
 717     rv34_mc(r, block_type, xoff, yoff, mv_off, width, height, dir, r->rv30,
 718             r->rv30 ? r->s.dsp.put_rv30_tpel_pixels_tab
 719                     : r->s.dsp.put_rv40_qpel_pixels_tab,
 720             r->rv30 ? r->s.dsp.put_h264_chroma_pixels_tab
 721                     : r->s.dsp.put_rv40_chroma_pixels_tab);
 722 }
 723
 724 static void rv34_mc_2mv(RV34DecContext *r, const int block_type)
 725 {
 726     rv34_mc(r, block_type, 0, 0, 0, 2, 2, 0, r->rv30,
 727             r->rv30 ? r->s.dsp.put_rv30_tpel_pixels_tab
 728                     : r->s.dsp.put_rv40_qpel_pixels_tab,
 729             r->rv30 ? r->s.dsp.put_h264_chroma_pixels_tab
 730                     : r->s.dsp.put_rv40_chroma_pixels_tab);
 731     rv34_mc(r, block_type, 0, 0, 0, 2, 2, 1, r->rv30,
 732             r->rv30 ? r->s.dsp.avg_rv30_tpel_pixels_tab
 733                     : r->s.dsp.avg_rv40_qpel_pixels_tab,
 734             r->rv30 ? r->s.dsp.avg_h264_chroma_pixels_tab
 735                     : r->s.dsp.avg_rv40_chroma_pixels_tab);
 736 }
 737
 738 static void rv34_mc_2mv_skip(RV34DecContext *r)
 739 {
 740     int i, j;
 741     for(j = 0; j < 2; j++)
 742         for(i = 0; i < 2; i++){
 743              rv34_mc(r, RV34_MB_P_8x8, i*8, j*8, i+j*r->s.b8_stride, 1, 1, 0, r->rv30,
 744                     r->rv30 ? r->s.dsp.put_rv30_tpel_pixels_tab
 745                             : r->s.dsp.put_rv40_qpel_pixels_tab,
 746                     r->rv30 ? r->s.dsp.put_h264_chroma_pixels_tab
 747                             : r->s.dsp.put_rv40_chroma_pixels_tab);
 748              rv34_mc(r, RV34_MB_P_8x8, i*8, j*8, i+j*r->s.b8_stride, 1, 1, 1, r->rv30,
 749                     r->rv30 ? r->s.dsp.avg_rv30_tpel_pixels_tab
 750                             : r->s.dsp.avg_rv40_qpel_pixels_tab,
 751                     r->rv30 ? r->s.dsp.avg_h264_chroma_pixels_tab
 752                             : r->s.dsp.avg_rv40_chroma_pixels_tab);
 753         }
 754 }
 755
 756 /** number of motion vectors in each macroblock type */
 757 static const int num_mvs[RV34_MB_TYPES] = { 0, 0, 1, 4, 1, 1, 0, 0, 2, 2, 2, 1 };
 758
 759 /**
 760  * Decode motion vector differences
 761  * and perform motion vector reconstruction and motion compensation.
 762  */
 763 static int rv34_decode_mv(RV34DecContext *r, int block_type)
 764 {
 765     MpegEncContext *s = &r->s;
 766     GetBitContext *gb = &s->gb;
 767     int i, j, k, l;
 768     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
 769     int next_bt;
 770
 771     memset(r->dmv, 0, sizeof(r->dmv));
 772     for(i = 0; i < num_mvs[block_type]; i++){
 773         r->dmv[i][0] = svq3_get_se_golomb(gb);
 774         r->dmv[i][1] = svq3_get_se_golomb(gb);
 775     }
 776     switch(block_type){
 777     case RV34_MB_TYPE_INTRA:
 778     case RV34_MB_TYPE_INTRA16x16:
 779         fill_rectangle(s->current_picture_ptr->motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], 2, 2, s->b8_stride, 0, 4);
 780         return 0;
 781     case RV34_MB_SKIP:
 782         if(s->pict_type == FF_P_TYPE){
 783             fill_rectangle(s->current_picture_ptr->motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], 2, 2, s->b8_stride, 0, 4);
 784             rv34_mc_1mv (r, block_type, 0, 0, 0, 2, 2, 0);
 785             break;
 786         }
 787     case RV34_MB_B_DIRECT:
 788         //surprisingly, it uses motion scheme from next reference frame
 789         next_bt = s->next_picture_ptr->mb_type[s->mb_x + s->mb_y * s->mb_stride];
 790         for(j = 0; j < 2; j++)
 791             for(i = 0; i < 2; i++)
 792                 for(k = 0; k < 2; k++)
 793                     for(l = 0; l < 2; l++)
 794                         s->current_picture_ptr->motion_val[l][mv_pos + i + j*s->b8_stride][k] = calc_add_mv(r, l, s->next_picture_ptr->motion_val[0][mv_pos + i + j*s->b8_stride][k]);
 795         if(IS_16X16(next_bt)) //we can use whole macroblock MC
 796             rv34_mc_2mv(r, block_type);
 797         else
 798             rv34_mc_2mv_skip(r);
 799         fill_rectangle(s->current_picture_ptr->motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], 2, 2, s->b8_stride, 0, 4);
 800         break;
 801     case RV34_MB_P_16x16:
 802     case RV34_MB_P_MIX16x16:
 803         rv34_pred_mv(r, block_type, 0, 0);
 804         rv34_mc_1mv (r, block_type, 0, 0, 0, 2, 2, 0);
 805         break;
 806     case RV34_MB_B_FORWARD:
 807     case RV34_MB_B_BACKWARD:
 808         r->dmv[1][0] = r->dmv[0][0];
 809         r->dmv[1][1] = r->dmv[0][1];
 810         if(r->rv30)
 811             rv34_pred_mv_rv3(r, block_type, block_type == RV34_MB_B_BACKWARD);
 812         else
 813             rv34_pred_mv_b  (r, block_type, block_type == RV34_MB_B_BACKWARD);
 814         rv34_mc_1mv     (r, block_type, 0, 0, 0, 2, 2, block_type == RV34_MB_B_BACKWARD);
 815         break;
 816     case RV34_MB_P_16x8:
 817     case RV34_MB_P_8x16:
 818         rv34_pred_mv(r, block_type, 0, 0);
 819         rv34_pred_mv(r, block_type, 1 + (block_type == RV34_MB_P_16x8), 1);
 820         if(block_type == RV34_MB_P_16x8){
 821             rv34_mc_1mv(r, block_type, 0, 0, 0,            2, 1, 0);
 822             rv34_mc_1mv(r, block_type, 0, 8, s->b8_stride, 2, 1, 0);
 823         }
 824         if(block_type == RV34_MB_P_8x16){
 825             rv34_mc_1mv(r, block_type, 0, 0, 0, 1, 2, 0);
 826             rv34_mc_1mv(r, block_type, 8, 0, 1, 1, 2, 0);
 827         }
 828         break;
 829     case RV34_MB_B_BIDIR:
 830         rv34_pred_mv_b  (r, block_type, 0);
 831         rv34_pred_mv_b  (r, block_type, 1);
 832         rv34_mc_2mv     (r, block_type);
 833         break;
 834     case RV34_MB_P_8x8:
 835         for(i=0;i< 4;i++){
 836             rv34_pred_mv(r, block_type, i, i);
 837             rv34_mc_1mv (r, block_type, (i&1)<<3, (i&2)<<2, (i&1)+(i>>1)*s->b8_stride, 1, 1, 0);
 838         }
 839         break;
 840     }
 841
 842     return 0;
 843 }
 844 /** @} */ // mv group
 845
 846 /**
 847  * @defgroup recons Macroblock reconstruction functions
 848  * @{
 849  */
 850 /** mapping of RV30/40 intra prediction types to standard H.264 types */
 851 static const int ittrans[9] = {
 852  DC_PRED, VERT_PRED, HOR_PRED, DIAG_DOWN_RIGHT_PRED, DIAG_DOWN_LEFT_PRED,
 853  VERT_RIGHT_PRED, VERT_LEFT_PRED, HOR_UP_PRED, HOR_DOWN_PRED,
 854 };
 855
 856 /** mapping of RV30/40 intra 16x16 prediction types to standard H.264 types */
 857 static const int ittrans16[4] = {
 858  DC_PRED8x8, VERT_PRED8x8, HOR_PRED8x8, PLANE_PRED8x8,
 859 };
 860
 861 /**
 862  * Perform 4x4 intra prediction.
 863  */
 864 static void rv34_pred_4x4_block(RV34DecContext *r, uint8_t *dst, int stride, int itype, int up, int left, int down, int right)
 865 {
 866     uint8_t *prev = dst - stride + 4;
 867     uint32_t topleft;
 868
 869     if(!up && !left)
 870         itype = DC_128_PRED;
 871     else if(!up){
 872         if(itype == VERT_PRED) itype = HOR_PRED;
 873         if(itype == DC_PRED)   itype = LEFT_DC_PRED;
 874     }else if(!left){
 875         if(itype == HOR_PRED)  itype = VERT_PRED;
 876         if(itype == DC_PRED)   itype = TOP_DC_PRED;
 877         if(itype == DIAG_DOWN_LEFT_PRED) itype = DIAG_DOWN_LEFT_PRED_RV40_NODOWN;
 878     }
 879     if(!down){
 880         if(itype == DIAG_DOWN_LEFT_PRED) itype = DIAG_DOWN_LEFT_PRED_RV40_NODOWN;
 881         if(itype == HOR_UP_PRED) itype = HOR_UP_PRED_RV40_NODOWN;
 882         if(itype == VERT_LEFT_PRED) itype = VERT_LEFT_PRED_RV40_NODOWN;
 883     }
 884     if(!right && up){
 885         topleft = dst[-stride + 3] * 0x01010101;
 886         prev = &topleft;
 887     }
 888     r->h.pred4x4[itype](dst, prev, stride);
 889 }
 890
 891 /** add_pixels_clamped for 4x4 block */
 892 static void rv34_add_4x4_block(uint8_t *dst, int stride, DCTELEM block[64], int off)
 893 {
 894     int x, y;
 895     for(y = 0; y < 4; y++)
 896         for(x = 0; x < 4; x++)
 897             dst[x + y*stride] = av_clip_uint8(dst[x + y*stride] + block[off + x+y*8]);
 898 }
 899
 900 static inline int adjust_pred16(int itype, int up, int left)
 901 {
 902     if(!up && !left)
 903         itype = DC_128_PRED8x8;
 904     else if(!up){
 905         if(itype == PLANE_PRED8x8)itype = HOR_PRED8x8;
 906         if(itype == VERT_PRED8x8) itype = HOR_PRED8x8;
 907         if(itype == DC_PRED8x8)   itype = LEFT_DC_PRED8x8;
 908     }else if(!left){
 909         if(itype == PLANE_PRED8x8)itype = VERT_PRED8x8;
 910         if(itype == HOR_PRED8x8)  itype = VERT_PRED8x8;
 911         if(itype == DC_PRED8x8)   itype = TOP_DC_PRED8x8;
 912     }
 913     return itype;
 914 }
 915
 916 static void rv34_output_macroblock(RV34DecContext *r, int8_t *intra_types, int cbp, int is16)
 917 {
 918     MpegEncContext *s = &r->s;
 919     DSPContext *dsp = &s->dsp;
 920     int i, j;
 921     uint8_t *Y, *U, *V;
 922     int itype;
 923     int avail[6*8] = {0};
 924     int idx;
 925
 926     // Set neighbour information.
 927     if(r->avail_cache[0])
 928         avail[0] = 1;
 929     if(r->avail_cache[1])
 930         avail[1] = avail[2] = 1;
 931     if(r->avail_cache[2])
 932         avail[3] = avail[4] = 1;
 933     if(r->avail_cache[3])
 934         avail[5] = 1;
 935     if(r->avail_cache[4])
 936         avail[8] = avail[16] = 1;
 937     if(r->avail_cache[8])
 938         avail[24] = avail[32] = 1;
 939
 940     Y = s->dest[0];
 941     U = s->dest[1];
 942     V = s->dest[2];
 943     if(!is16){
 944         for(j = 0; j < 4; j++){
 945             idx = 9 + j*8;
 946             for(i = 0; i < 4; i++, cbp >>= 1, Y += 4, idx++){
 947                 rv34_pred_4x4_block(r, Y, s->linesize, ittrans[intra_types[i]], avail[idx-8], avail[idx-1], avail[idx+7], avail[idx-7]);
 948                 avail[idx] = 1;
 949                 if(cbp & 1)
 950                     rv34_add_4x4_block(Y, s->linesize, s->block[(i>>1)+(j&2)], (i&1)*4+(j&1)*32);
 951             }
 952             Y += s->linesize * 4 - 4*4;
 953             intra_types += s->b4_stride;
 954         }
 955         intra_types -= s->b4_stride * 4;
 956         fill_rectangle(r->avail_cache + 5, 2, 2, 4, 0, 4);
 957         for(j = 0; j < 2; j++){
 958             idx = 5 + j*4;
 959             for(i = 0; i < 2; i++, cbp >>= 1, idx++){
 960                 rv34_pred_4x4_block(r, U + i*4 + j*4*s->uvlinesize, s->uvlinesize, ittrans[intra_types[i*2+j*2*s->b4_stride]], r->avail_cache[idx-4], r->avail_cache[idx-1], !i && !j, r->avail_cache[idx-3]);
 961                 rv34_pred_4x4_block(r, V + i*4 + j*4*s->uvlinesize, s->uvlinesize, ittrans[intra_types[i*2+j*2*s->b4_stride]], r->avail_cache[idx-4], r->avail_cache[idx-1], !i && !j, r->avail_cache[idx-3]);
 962                 r->avail_cache[idx] = 1;
 963                 if(cbp & 0x01)
 964                     rv34_add_4x4_block(U + i*4 + j*4*s->uvlinesize, s->uvlinesize, s->block[4], i*4+j*32);
 965                 if(cbp & 0x10)
 966                     rv34_add_4x4_block(V + i*4 + j*4*s->uvlinesize, s->uvlinesize, s->block[5], i*4+j*32);
 967             }
 968         }
 969     }else{
 970         itype = ittrans16[intra_types[0]];
 971         itype = adjust_pred16(itype, r->avail_cache[5-4], r->avail_cache[5-1]);
 972         r->h.pred16x16[itype](Y, s->linesize);
 973         dsp->add_pixels_clamped(s->block[0], Y,     s->linesize);
 974         dsp->add_pixels_clamped(s->block[1], Y + 8, s->linesize);
 975         Y += s->linesize * 8;
 976         dsp->add_pixels_clamped(s->block[2], Y,     s->linesize);
 977         dsp->add_pixels_clamped(s->block[3], Y + 8, s->linesize);
 978
 979         itype = ittrans16[intra_types[0]];
 980         if(itype == PLANE_PRED8x8) itype = DC_PRED8x8;
 981         itype = adjust_pred16(itype, r->avail_cache[5-4], r->avail_cache[5-1]);
 982         r->h.pred8x8[itype](U, s->uvlinesize);
 983         dsp->add_pixels_clamped(s->block[4], U, s->uvlinesize);
 984         r->h.pred8x8[itype](V, s->uvlinesize);
 985         dsp->add_pixels_clamped(s->block[5], V, s->uvlinesize);
 986     }
 987 }
 988
 989 /** @} */ // recons group
 990
 991 /**
 992  * @addtogroup bitstream
 993  * Decode macroblock header and return CBP in case of success, -1 otherwise.
 994  */
 995 static int rv34_decode_mb_header(RV34DecContext *r, int8_t *intra_types)
 996 {
 997     MpegEncContext *s = &r->s;
 998     GetBitContext *gb = &s->gb;
 999     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
1000     int i, t;
1001
1002     if(!r->si.type){
1003         r->is16 = get_bits1(gb);
1004         if(!r->is16 && !r->rv30){
1005             if(!get_bits1(gb))
1006                 av_log(s->avctx, AV_LOG_ERROR, "Need DQUANT\n");
1007         }
1008         s->current_picture_ptr->mb_type[mb_pos] = r->is16 ? MB_TYPE_INTRA16x16 : MB_TYPE_INTRA;
1009         r->block_type = r->is16 ? RV34_MB_TYPE_INTRA16x16 : RV34_MB_TYPE_INTRA;
1010     }else{
1011         r->block_type = r->decode_mb_info(r);
1012         if(r->block_type == -1)
1013             return -1;
1014         s->current_picture_ptr->mb_type[mb_pos] = rv34_mb_type_to_lavc[r->block_type];
1015         r->mb_type[mb_pos] = r->block_type;
1016         if(r->block_type == RV34_MB_SKIP){
1017             if(s->pict_type == FF_P_TYPE)
1018                 r->mb_type[mb_pos] = RV34_MB_P_16x16;
1019             if(s->pict_type == FF_B_TYPE)
1020                 r->mb_type[mb_pos] = RV34_MB_B_DIRECT;
1021         }
1022         r->is16 = !!IS_INTRA16x16(s->current_picture_ptr->mb_type[mb_pos]);
1023         rv34_decode_mv(r, r->block_type);
1024         if(r->block_type == RV34_MB_SKIP){
1025             fill_rectangle(intra_types, 4, 4, s->b4_stride, 0, sizeof(intra_types[0]));
1026             return 0;
1027         }
1028         r->chroma_vlc = 1;
1029         r->luma_vlc   = 0;
1030     }
1031     if(IS_INTRA(s->current_picture_ptr->mb_type[mb_pos])){
1032         if(r->is16){
1033             t = get_bits(gb, 2);
1034             fill_rectangle(intra_types, 4, 4, s->b4_stride, t, sizeof(intra_types[0]));
1035             r->luma_vlc   = 2;
1036         }else{
1037             if(r->decode_intra_types(r, gb, intra_types) < 0)
1038                 return -1;
1039             r->luma_vlc   = 1;
1040         }
1041         r->chroma_vlc = 0;
1042         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 0);
1043     }else{
1044         for(i = 0; i < 16; i++)
1045             intra_types[(i & 3) + (i>>2) * s->b4_stride] = 0;
1046         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 1);
1047         if(r->mb_type[mb_pos] == RV34_MB_P_MIX16x16){
1048             r->is16 = 1;
1049             r->chroma_vlc = 1;
1050             r->luma_vlc   = 2;
1051             r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 0);
1052         }
1053     }
1054
1055     return rv34_decode_cbp(gb, r->cur_vlcs, r->is16);
1056 }
1057
1058 /**
1059  * @addtogroup recons
1060  * @{
1061  */
1062 /**
1063  * mask for retrieving all bits in coded block pattern
1064  * corresponding to one 8x8 block
1065  */
1066 #define LUMA_CBP_BLOCK_MASK 0x33
1067
1068 #define U_CBP_MASK 0x0F0000
1069 #define V_CBP_MASK 0xF00000
1070
1071
1072 static void rv34_apply_differences(RV34DecContext *r, int cbp)
1073 {
1074     static const int shifts[4] = { 0, 2, 8, 10 };
1075     MpegEncContext *s = &r->s;
1076     int i;
1077
1078     for(i = 0; i < 4; i++)
1079         if((cbp & (LUMA_CBP_BLOCK_MASK << shifts[i])) || r->block_type == RV34_MB_P_MIX16x16)
1080             s->dsp.add_pixels_clamped(s->block[i], s->dest[0] + (i & 1)*8 + (i&2)*4*s->linesize, s->linesize);
1081     if(cbp & U_CBP_MASK)
1082         s->dsp.add_pixels_clamped(s->block[4], s->dest[1], s->uvlinesize);
1083     if(cbp & V_CBP_MASK)
1084         s->dsp.add_pixels_clamped(s->block[5], s->dest[2], s->uvlinesize);
1085 }
1086
1087 static int is_mv_diff_gt_3(int16_t (*motion_val)[2], int step)
1088 {
1089     int d;
1090     d = motion_val[0][0] - motion_val[-step][0];
1091     if(d < -3 || d > 3)
1092         return 1;
1093     d = motion_val[0][1] - motion_val[-step][1];
1094     if(d < -3 || d > 3)
1095         return 1;
1096     return 0;
1097 }
1098
1099 static int rv34_set_deblock_coef(RV34DecContext *r)
1100 {
1101     MpegEncContext *s = &r->s;
1102     int hmvmask = 0, vmvmask = 0, i, j;
1103     int midx = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
1104     int16_t (*motion_val)[2] = s->current_picture_ptr->motion_val[0][midx];
1105     for(j = 0; j < 16; j += 8){
1106         for(i = 0; i < 2; i++){
1107             if(is_mv_diff_gt_3(motion_val + i, 1))
1108                 vmvmask |= 0x11 << (j + i*2);
1109             if((j || s->mb_y) && is_mv_diff_gt_3(motion_val + i, s->b8_stride))
1110                 hmvmask |= 0x03 << (j + i*2);
1111         }
1112         motion_val += s->b8_stride;
1113     }
1114     if(s->first_slice_line)
1115         hmvmask &= ~0x000F;
1116     if(!s->mb_x)
1117         vmvmask &= ~0x1111;
1118     if(r->rv30){ //RV30 marks both subblocks on the edge for filtering
1119         vmvmask |= (vmvmask & 0x4444) >> 1;
1120         hmvmask |= (hmvmask & 0x0F00) >> 4;
1121         if(s->mb_x)
1122             r->deblock_coefs[s->mb_x - 1 + s->mb_y*s->mb_stride] |= (vmvmask & 0x1111) << 3;
1123         if(!s->first_slice_line)
1124             r->deblock_coefs[s->mb_x + (s->mb_y - 1)*s->mb_stride] |= (hmvmask & 0xF) << 12;
1125     }
1126     return hmvmask | vmvmask;
1127 }
1128
1129 static int rv34_decode_macroblock(RV34DecContext *r, int8_t *intra_types)
1130 {
1131     MpegEncContext *s = &r->s;
1132     GetBitContext *gb = &s->gb;
1133     int cbp, cbp2;
1134     int i, blknum, blkoff;
1135     DCTELEM block16[64];
1136     int luma_dc_quant;
1137     int dist;
1138     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
1139
1140     // Calculate which neighbours are available. Maybe it's worth optimizing too.
1141     memset(r->avail_cache, 0, sizeof(r->avail_cache));
1142     fill_rectangle(r->avail_cache + 5, 2, 2, 4, 1, 4);
1143     dist = (s->mb_x - s->resync_mb_x) + (s->mb_y - s->resync_mb_y) * s->mb_width;
1144     if(s->mb_x && dist)
1145         r->avail_cache[4] =
1146         r->avail_cache[8] = s->current_picture_ptr->mb_type[mb_pos - 1];
1147     if(dist >= s->mb_width)
1148         r->avail_cache[1] =
1149         r->avail_cache[2] = s->current_picture_ptr->mb_type[mb_pos - s->mb_stride];
1150     if(((s->mb_x+1) < s->mb_width) && dist >= s->mb_width - 1)
1151         r->avail_cache[3] = s->current_picture_ptr->mb_type[mb_pos - s->mb_stride + 1];
1152     if(s->mb_x && dist > s->mb_width)
1153         r->avail_cache[0] = s->current_picture_ptr->mb_type[mb_pos - s->mb_stride - 1];
1154
1155     s->qscale = r->si.quant;
1156     cbp = cbp2 = rv34_decode_mb_header(r, intra_types);
1157     r->cbp_luma  [mb_pos] = cbp;
1158     r->cbp_chroma[mb_pos] = cbp >> 16;
1159     if(s->pict_type == FF_I_TYPE)
1160         r->deblock_coefs[mb_pos] = 0xFFFF;
1161     else
1162         r->deblock_coefs[mb_pos] = rv34_set_deblock_coef(r) | r->cbp_luma[mb_pos];
1163     s->current_picture_ptr->qscale_table[mb_pos] = s->qscale;
1164
1165     if(cbp == -1)
1166         return -1;
1167
1168     luma_dc_quant = r->block_type == RV34_MB_P_MIX16x16 ? r->luma_dc_quant_p[s->qscale] : r->luma_dc_quant_i[s->qscale];
1169     if(r->is16){
1170         memset(block16, 0, sizeof(block16));
1171         rv34_decode_block(block16, gb, r->cur_vlcs, 3, 0);
1172         rv34_dequant4x4_16x16(block16, rv34_qscale_tab[luma_dc_quant],rv34_qscale_tab[s->qscale]);
1173         rv34_inv_transform_noround(block16);
1174     }
1175
1176     for(i = 0; i < 16; i++, cbp >>= 1){
1177         if(!r->is16 && !(cbp & 1)) continue;
1178         blknum = ((i & 2) >> 1) + ((i & 8) >> 2);
1179         blkoff = ((i & 1) << 2) + ((i & 4) << 3);
1180         if(cbp & 1)
1181             rv34_decode_block(s->block[blknum] + blkoff, gb, r->cur_vlcs, r->luma_vlc, 0);
1182         rv34_dequant4x4(s->block[blknum] + blkoff, rv34_qscale_tab[s->qscale],rv34_qscale_tab[s->qscale]);
1183         if(r->is16) //FIXME: optimize
1184             s->block[blknum][blkoff] = block16[(i & 3) | ((i & 0xC) << 1)];
1185         rv34_inv_transform(s->block[blknum] + blkoff);
1186     }
1187     if(r->block_type == RV34_MB_P_MIX16x16)
1188         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 1);
1189     for(; i < 24; i++, cbp >>= 1){
1190         if(!(cbp & 1)) continue;
1191         blknum = ((i & 4) >> 2) + 4;
1192         blkoff = ((i & 1) << 2) + ((i & 2) << 4);
1193         rv34_decode_block(s->block[blknum] + blkoff, gb, r->cur_vlcs, r->chroma_vlc, 1);
1194         rv34_dequant4x4(s->block[blknum] + blkoff, rv34_qscale_tab[rv34_chroma_quant[1][s->qscale]],rv34_qscale_tab[rv34_chroma_quant[0][s->qscale]]);
1195         rv34_inv_transform(s->block[blknum] + blkoff);
1196     }
1197     if(IS_INTRA(s->current_picture_ptr->mb_type[mb_pos]))
1198         rv34_output_macroblock(r, intra_types, cbp2, r->is16);
1199     else
1200         rv34_apply_differences(r, cbp2);
1201
1202     return 0;
1203 }
1204
1205 static int check_slice_end(RV34DecContext *r, MpegEncContext *s)
1206 {
1207     int bits;
1208     if(s->mb_y >= s->mb_height)
1209         return 1;
1210     if(!s->mb_num_left)
1211         return 1;
1212     if(r->s.mb_skip_run > 1)
1213         return 0;
1214     bits = r->bits - get_bits_count(&s->gb);
1215     if(bits < 0 || (bits < 8 && !show_bits(&s->gb, bits)))
1216         return 1;
1217     return 0;
1218 }
1219
1220 static inline int slice_compare(SliceInfo *si1, SliceInfo *si2)
1221 {
1222     return si1->type   != si2->type  ||
1223            si1->start  >= si2->start ||
1224            si1->width  != si2->width ||
1225            si1->height != si2->height||
1226            si1->pts    != si2->pts;
1227 }
1228
1229 static int rv34_decode_slice(RV34DecContext *r, int end, const uint8_t* buf, int buf_size)
1230 {
1231     MpegEncContext *s = &r->s;
1232     GetBitContext *gb = &s->gb;
1233     int mb_pos;
1234     int res;
1235
1236     init_get_bits(&r->s.gb, buf, buf_size*8);
1237     res = r->parse_slice_header(r, gb, &r->si);
1238     if(res < 0){
1239         av_log(s->avctx, AV_LOG_ERROR, "Incorrect or unknown slice header\n");
1240         return -1;
1241     }
1242
1243     if ((s->mb_x == 0 && s->mb_y == 0) || s->current_picture_ptr==NULL) {
1244         if(s->width != r->si.width || s->height != r->si.height){
1245             av_log(s->avctx, AV_LOG_DEBUG, "Changing dimensions to %dx%d\n", r->si.width,r->si.height);
1246             MPV_common_end(s);
1247             s->width  = r->si.width;
1248             s->height = r->si.height;
1249             if(MPV_common_init(s) < 0)
1250                 return -1;
1251             r->intra_types_hist = av_realloc(r->intra_types_hist, s->b4_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1252             r->intra_types = r->intra_types_hist + s->b4_stride * 4;
1253             r->mb_type = av_realloc(r->mb_type, r->s.mb_stride * r->s.mb_height * sizeof(*r->mb_type));
1254             r->cbp_luma   = av_realloc(r->cbp_luma,   r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_luma));
1255             r->cbp_chroma = av_realloc(r->cbp_chroma, r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_chroma));
1256             r->deblock_coefs = av_realloc(r->deblock_coefs, r->s.mb_stride * r->s.mb_height * sizeof(*r->deblock_coefs));
1257         }
1258         s->pict_type = r->si.type ? r->si.type : FF_I_TYPE;
1259         if(MPV_frame_start(s, s->avctx) < 0)
1260             return -1;
1261         ff_er_frame_start(s);
1262         r->cur_pts = r->si.pts;
1263         if(s->pict_type != FF_B_TYPE){
1264             r->last_pts = r->next_pts;
1265             r->next_pts = r->cur_pts;
1266         }
1267         s->mb_x = s->mb_y = 0;
1268     }
1269
1270     r->si.end = end;
1271     s->qscale = r->si.quant;
1272     r->bits = buf_size*8;
1273     s->mb_num_left = r->si.end - r->si.start;
1274     r->s.mb_skip_run = 0;
1275
1276     mb_pos = s->mb_x + s->mb_y * s->mb_width;
1277     if(r->si.start != mb_pos){
1278         av_log(s->avctx, AV_LOG_ERROR, "Slice indicates MB offset %d, got %d\n", r->si.start, mb_pos);
1279         s->mb_x = r->si.start % s->mb_width;
1280         s->mb_y = r->si.start / s->mb_width;
1281     }
1282     memset(r->intra_types_hist, -1, s->b4_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1283     s->first_slice_line = 1;
1284     s->resync_mb_x= s->mb_x;
1285     s->resync_mb_y= s->mb_y;
1286
1287     ff_init_block_index(s);
1288     while(!check_slice_end(r, s)) {
1289         ff_update_block_index(s);
1290         s->dsp.clear_blocks(s->block[0]);
1291
1292         if(rv34_decode_macroblock(r, r->intra_types + s->mb_x * 4 + 1) < 0){
1293             ff_er_add_slice(s, s->resync_mb_x, s->resync_mb_y, s->mb_x-1, s->mb_y, AC_ERROR|DC_ERROR|MV_ERROR);
1294             return -1;
1295         }
1296         if (++s->mb_x == s->mb_width) {
1297             s->mb_x = 0;
1298             s->mb_y++;
1299             ff_init_block_index(s);
1300
1301             memmove(r->intra_types_hist, r->intra_types, s->b4_stride * 4 * sizeof(*r->intra_types_hist));
1302             memset(r->intra_types, -1, s->b4_stride * 4 * sizeof(*r->intra_types_hist));
1303
1304             if(r->loop_filter && s->mb_y >= 2)
1305                 r->loop_filter(r, s->mb_y - 2);
1306         }
1307         if(s->mb_x == s->resync_mb_x)
1308             s->first_slice_line=0;
1309         s->mb_num_left--;
1310     }
1311     ff_er_add_slice(s, s->resync_mb_x, s->resync_mb_y, s->mb_x-1, s->mb_y, AC_END|DC_END|MV_END);
1312
1313     return s->mb_y == s->mb_height;
1314 }
1315
1316 /** @} */ // recons group end
1317
1318 /**
1319  * Initialize decoder.
1320  */
1321 av_cold int ff_rv34_decode_init(AVCodecContext *avctx)
1322 {
1323     RV34DecContext *r = avctx->priv_data;
1324     MpegEncContext *s = &r->s;
1325
1326     MPV_decode_defaults(s);
1327     s->avctx= avctx;
1328     s->out_format = FMT_H263;
1329     s->codec_id= avctx->codec_id;
1330
1331     s->width = avctx->width;
1332     s->height = avctx->height;
1333
1334     r->s.avctx = avctx;
1335     avctx->flags |= CODEC_FLAG_EMU_EDGE;
1336     r->s.flags |= CODEC_FLAG_EMU_EDGE;
1337     avctx->pix_fmt = PIX_FMT_YUV420P;
1338     avctx->has_b_frames = 1;
1339     s->low_delay = 0;
1340
1341     if (MPV_common_init(s) < 0)
1342         return -1;
1343
1344     ff_h264_pred_init(&r->h, CODEC_ID_RV40);
1345
1346     r->intra_types_hist = av_malloc(s->b4_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1347     r->intra_types = r->intra_types_hist + s->b4_stride * 4;
1348
1349     r->mb_type = av_mallocz(r->s.mb_stride * r->s.mb_height * sizeof(*r->mb_type));
1350
1351     r->cbp_luma   = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_luma));
1352     r->cbp_chroma = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_chroma));
1353     r->deblock_coefs = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->deblock_coefs));
1354
1355     if(!intra_vlcs[0].cbppattern[0].bits)
1356         rv34_init_tables();
1357
1358     return 0;
1359 }
1360
1361 static int get_slice_offset(AVCodecContext *avctx, const uint8_t *buf, int n)
1362 {
1363     if(avctx->slice_count) return avctx->slice_offset[n];
1364     else                   return AV_RL32(buf + n*8 - 4) == 1 ? AV_RL32(buf + n*8) :  AV_RB32(buf + n*8);
1365 }
1366
1367 int ff_rv34_decode_frame(AVCodecContext *avctx,
1368                             void *data, int *data_size,
1369                             const uint8_t *buf, int buf_size)
1370 {
1371     RV34DecContext *r = avctx->priv_data;
1372     MpegEncContext *s = &r->s;
1373     AVFrame *pict = data;
1374     SliceInfo si;
1375     int i;
1376     int slice_count;
1377     const uint8_t *slices_hdr = NULL;
1378     int last = 0;
1379
1380     /* no supplementary picture */
1381     if (buf_size == 0) {
1382         /* special case for last picture */
1383         if (s->low_delay==0 && s->next_picture_ptr) {
1384             *pict= *(AVFrame*)s->next_picture_ptr;
1385             s->next_picture_ptr= NULL;
1386
1387             *data_size = sizeof(AVFrame);
1388         }
1389         return 0;
1390     }
1391
1392     if(!avctx->slice_count){
1393         slice_count = (*buf++) + 1;
1394         slices_hdr = buf + 4;
1395         buf += 8 * slice_count;
1396     }else
1397         slice_count = avctx->slice_count;
1398
1399     for(i=0; i<slice_count; i++){
1400         int offset= get_slice_offset(avctx, slices_hdr, i);
1401         int size;
1402         if(i+1 == slice_count)
1403             size= buf_size - offset;
1404         else
1405             size= get_slice_offset(avctx, slices_hdr, i+1) - offset;
1406
1407         if(offset > buf_size){
1408             av_log(avctx, AV_LOG_ERROR, "Slice offset is greater than frame size\n");
1409             break;
1410         }
1411
1412         r->si.end = s->mb_width * s->mb_height;
1413         if(i+1 < slice_count){
1414             init_get_bits(&s->gb, buf+get_slice_offset(avctx, slices_hdr, i+1), (buf_size-get_slice_offset(avctx, slices_hdr, i+1))*8);
1415             if(r->parse_slice_header(r, &r->s.gb, &si) < 0){
1416                 if(i+2 < slice_count)
1417                     size = get_slice_offset(avctx, slices_hdr, i+2) - offset;
1418                 else
1419                     size = buf_size - offset;
1420             }else
1421                 r->si.end = si.start;
1422         }
1423         if(!i && si.type == FF_B_TYPE && (!s->last_picture_ptr || !s->last_picture_ptr->data[0]))
1424             return -1;
1425         last = rv34_decode_slice(r, r->si.end, buf + offset, size);
1426         s->mb_num_left = r->s.mb_x + r->s.mb_y*r->s.mb_width - r->si.start;
1427         if(last)
1428             break;
1429     }
1430
1431     if(last){
1432         if(r->loop_filter)
1433             r->loop_filter(r, s->mb_height - 1);
1434         ff_er_frame_end(s);
1435         MPV_frame_end(s);
1436         if (s->pict_type == FF_B_TYPE || s->low_delay) {
1437             *pict= *(AVFrame*)s->current_picture_ptr;
1438         } else if (s->last_picture_ptr != NULL) {
1439             *pict= *(AVFrame*)s->last_picture_ptr;
1440         }
1441
1442         if(s->last_picture_ptr || s->low_delay){
1443             *data_size = sizeof(AVFrame);
1444             ff_print_debug_info(s, pict);
1445         }
1446         s->current_picture_ptr= NULL; //so we can detect if frame_end wasnt called (find some nicer solution...)
1447     }
1448     return buf_size;
1449 }
1450
1451 av_cold int ff_rv34_decode_end(AVCodecContext *avctx)
1452 {
1453     RV34DecContext *r = avctx->priv_data;
1454
1455     MPV_common_end(&r->s);
1456
1457     av_freep(&r->intra_types_hist);
1458     r->intra_types = NULL;
1459     av_freep(&r->mb_type);
1460     av_freep(&r->cbp_luma);
1461     av_freep(&r->cbp_chroma);
1462     av_freep(&r->deblock_coefs);
1463
1464     return 0;
1465 }