]> rtime.felk.cvut.cz Git - frescor/ffmpeg.git/blob - libavcodec/indeo2.c
buffer overflows
[frescor/ffmpeg.git] / libavcodec / indeo2.c
1 /*
2  * Indel Indeo 2 codec
3  * Copyright (c) 2005 Konstantin Shishkov
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Lesser General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Lesser General Public License for more details.
14  *
15  * You should have received a copy of the GNU Lesser General Public
16  * License along with this library; if not, write to the Free Software
17  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18  *
19  */
20  
21 /**
22  * @file indeo2.c
23  * Intel Indeo 2 decoder.
24  */
25  
26 #include "avcodec.h"
27 #include "bitstream.h"
28 #include "indeo2data.h"
29
30 typedef struct Ir2Context{
31     AVCodecContext *avctx;
32     AVFrame picture;
33     GetBitContext gb;
34     int decode_delta;
35 } Ir2Context;
36
37 #define CODE_VLC_BITS 14
38 static VLC ir2_vlc;
39
40 /* Indeo 2 codes are in range 0x01..0x7F and 0x81..0x90 */
41 static inline int ir2_get_code(GetBitContext *gb)
42 {
43     int code;
44     
45     code = get_vlc2(gb, ir2_vlc.table, CODE_VLC_BITS, 1) + 1;
46     if (code >= 0x80)
47         return (code + 1);
48     return code;
49 }
50 #define CLAMP_TO_BYTE(value) \
51 if (value > 255) \
52     value = 255; \
53 else if (value < 0) \
54     value = 0; \
55
56 static int ir2_decode_plane(Ir2Context *ctx, int width, int height, uint8_t *dst, int stride,
57                              const uint8_t *table)
58 {
59     int i;
60     int j;
61     int out = 0;
62     int c;
63     int t;
64     
65     if(width&1)
66         return -1;
67
68     /* first line contain absolute values, other lines contain deltas */
69     while (out < width){
70         c = ir2_get_code(&ctx->gb);
71         if(c > 0x80) { /* we have a run */
72             c -= 0x80;
73             if(out + c*2 > width)
74                 return -1;
75             for (i = 0; i < c * 2; i++)
76                 dst[out++] = 0x80;
77         } else { /* copy two values from table */
78             dst[out++] = table[c * 2];
79             dst[out++] = table[(c * 2) + 1];
80         }
81     }
82     dst += stride;
83     
84     for (j = 1; j < height; j++){
85         out = 0;
86         while (out < width){
87             c = ir2_get_code(&ctx->gb);
88             if(c > 0x80) { /* we have a skip */
89                 c -= 0x80;
90                 if(out + c*2 > width)
91                     return -1;
92                 for (i = 0; i < c * 2; i++) {
93                     dst[out] = dst[out - stride];
94                     out++;
95                 }
96             } else { /* add two deltas from table */
97                 t = dst[out - stride] + (table[c * 2] - 128);
98                 CLAMP_TO_BYTE(t);
99                 dst[out] = t;
100                 out++;
101                 t = dst[out - stride] + (table[(c * 2) + 1] - 128);
102                 CLAMP_TO_BYTE(t);
103                 dst[out] = t;
104                 out++;
105             }
106         }
107         dst += stride;
108     }
109     return 0;
110 }
111
112 static int ir2_decode_plane_inter(Ir2Context *ctx, int width, int height, uint8_t *dst, int stride,
113                              const uint8_t *table)
114 {
115     int j;
116     int out = 0;
117     int c;
118     int t;
119
120     if(width&1)
121         return -1;
122
123     for (j = 0; j < height; j++){
124         out = 0;
125         while (out < width){
126             c = ir2_get_code(&ctx->gb);
127             if(c > 0x80) { /* we have a skip */
128                 c -= 0x80;
129                 out += c * 2;
130             } else { /* add two deltas from table */
131                 t = dst[out] + (table[c * 2] - 128);
132                 CLAMP_TO_BYTE(t);
133                 dst[out] = t;
134                 out++;
135                 t = dst[out] + (table[(c * 2) + 1] - 128);
136                 CLAMP_TO_BYTE(t);
137                 dst[out] = t;
138                 out++;
139             }
140         }
141         dst += stride;
142     }
143     return 0;
144 }
145
146 static int ir2_decode_frame(AVCodecContext *avctx, 
147                         void *data, int *data_size,
148                         uint8_t *buf, int buf_size)
149 {
150     Ir2Context * const s = avctx->priv_data;
151     AVFrame *picture = data;
152     AVFrame * const p= (AVFrame*)&s->picture;
153     int start;
154     int i;
155
156     if(p->data[0])
157         avctx->release_buffer(avctx, p);
158
159     p->reference = 1;
160     p->buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE | FF_BUFFER_HINTS_REUSABLE;
161     if (avctx->reget_buffer(avctx, p)) {
162         av_log(s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
163         return -1;
164     }
165
166     s->decode_delta = buf[18];
167     
168     /* decide whether frame uses deltas or not */
169     
170     for (i = 0; i < buf_size; i++)
171         buf[i] = ff_reverse[buf[i]];
172         
173     start = 48; /* hardcoded for now */
174
175     init_get_bits(&s->gb, buf + start, buf_size - start);
176
177     if (s->decode_delta) { /* intraframe */
178         ir2_decode_plane(s, avctx->width, avctx->height,
179                          s->picture.data[0], s->picture.linesize[0], ir2_luma_table);
180         /* swapped U and V */
181         ir2_decode_plane(s, avctx->width >> 2, avctx->height >> 2,
182                          s->picture.data[2], s->picture.linesize[2], ir2_luma_table);
183         ir2_decode_plane(s, avctx->width >> 2, avctx->height >> 2,
184                          s->picture.data[1], s->picture.linesize[1], ir2_luma_table);
185     } else { /* interframe */
186         ir2_decode_plane_inter(s, avctx->width, avctx->height,
187                          s->picture.data[0], s->picture.linesize[0], ir2_luma_table);
188         /* swapped U and V */
189         ir2_decode_plane_inter(s, avctx->width >> 2, avctx->height >> 2,
190                          s->picture.data[2], s->picture.linesize[2], ir2_luma_table);
191         ir2_decode_plane_inter(s, avctx->width >> 2, avctx->height >> 2,
192                          s->picture.data[1], s->picture.linesize[1], ir2_luma_table);
193     }
194
195     *picture= *(AVFrame*)&s->picture;
196     *data_size = sizeof(AVPicture);
197
198     return buf_size;
199 }
200
201 static int ir2_decode_init(AVCodecContext *avctx){
202     Ir2Context * const ic = avctx->priv_data;
203
204     ic->avctx = avctx;
205
206     avctx->pix_fmt= PIX_FMT_YUV410P;
207     
208     if (!ir2_vlc.table)
209         init_vlc(&ir2_vlc, CODE_VLC_BITS, IR2_CODES,
210                  &ir2_codes[0][1], 4, 2,
211                  &ir2_codes[0][0], 4, 2, 1);    
212
213     return 0;
214 }
215
216 AVCodec indeo2_decoder = {
217     "indeo2",
218     CODEC_TYPE_VIDEO,
219     CODEC_ID_INDEO2,
220     sizeof(Ir2Context),
221     ir2_decode_init,
222     NULL,
223     NULL,
224     ir2_decode_frame,
225     CODEC_CAP_DR1,
226 };