libavcodec/ppc/dsputil_ppc.c

   1 /*
   2  * Copyright (c) 2002 Brian Foley
   3  * Copyright (c) 2002 Dieter Shirley
   4  * Copyright (c) 2003-2004 Romain Dolbeau <romain@dolbeau.org>
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 #include "libavcodec/dsputil.h"
  24
  25 #include "dsputil_ppc.h"
  26
  27 #include "dsputil_altivec.h"
  28
  29 void fdct_altivec(int16_t *block);
  30 void gmc1_altivec(uint8_t *dst, uint8_t *src, int stride, int h,
  31                   int x16, int y16, int rounder);
  32 void idct_put_altivec(uint8_t *dest, int line_size, int16_t *block);
  33 void idct_add_altivec(uint8_t *dest, int line_size, int16_t *block);
  34
  35 void dsputil_h264_init_ppc(DSPContext* c, AVCodecContext *avctx);
  36
  37 void dsputil_init_altivec(DSPContext* c, AVCodecContext *avctx);
  38 void vc1dsp_init_altivec(DSPContext* c, AVCodecContext *avctx);
  39 void float_init_altivec(DSPContext* c, AVCodecContext *avctx);
  40 void int_init_altivec(DSPContext* c, AVCodecContext *avctx);
  41
  42 int mm_flags = 0;
  43
  44 int mm_support(void)
  45 {
  46     int result = 0;
  47 #if HAVE_ALTIVEC
  48     if (has_altivec()) {
  49         result |= FF_MM_ALTIVEC;
  50     }
  51 #endif /* result */
  52     return result;
  53 }
  54
  55 #if CONFIG_POWERPC_PERF
  56 unsigned long long perfdata[POWERPC_NUM_PMC_ENABLED][powerpc_perf_total][powerpc_data_total];
  57 /* list below must match enum in dsputil_ppc.h */
  58 static unsigned char* perfname[] = {
  59     "ff_fft_calc_altivec",
  60     "gmc1_altivec",
  61     "dct_unquantize_h263_altivec",
  62     "fdct_altivec",
  63     "idct_add_altivec",
  64     "idct_put_altivec",
  65     "put_pixels16_altivec",
  66     "avg_pixels16_altivec",
  67     "avg_pixels8_altivec",
  68     "put_pixels8_xy2_altivec",
  69     "put_no_rnd_pixels8_xy2_altivec",
  70     "put_pixels16_xy2_altivec",
  71     "put_no_rnd_pixels16_xy2_altivec",
  72     "hadamard8_diff8x8_altivec",
  73     "hadamard8_diff16_altivec",
  74     "avg_pixels8_xy2_altivec",
  75     "clear_blocks_dcbz32_ppc",
  76     "clear_blocks_dcbz128_ppc",
  77     "put_h264_chroma_mc8_altivec",
  78     "avg_h264_chroma_mc8_altivec",
  79     "put_h264_qpel16_h_lowpass_altivec",
  80     "avg_h264_qpel16_h_lowpass_altivec",
  81     "put_h264_qpel16_v_lowpass_altivec",
  82     "avg_h264_qpel16_v_lowpass_altivec",
  83     "put_h264_qpel16_hv_lowpass_altivec",
  84     "avg_h264_qpel16_hv_lowpass_altivec",
  85     ""
  86 };
  87 #include <stdio.h>
  88 #endif
  89
  90 #if CONFIG_POWERPC_PERF
  91 void powerpc_display_perf_report(void)
  92 {
  93     int i, j;
  94     av_log(NULL, AV_LOG_INFO, "PowerPC performance report\n Values are from the PMC registers, and represent whatever the registers are set to record.\n");
  95     for(i = 0 ; i < powerpc_perf_total ; i++) {
  96         for (j = 0; j < POWERPC_NUM_PMC_ENABLED ; j++) {
  97             if (perfdata[j][i][powerpc_data_num] != (unsigned long long)0)
  98                 av_log(NULL, AV_LOG_INFO,
  99                        " Function \"%s\" (pmc%d):\n\tmin: %"PRIu64"\n\tmax: %"PRIu64"\n\tavg: %1.2lf (%"PRIu64")\n",
 100                        perfname[i],
 101                        j+1,
 102                        perfdata[j][i][powerpc_data_min],
 103                        perfdata[j][i][powerpc_data_max],
 104                        (double)perfdata[j][i][powerpc_data_sum] /
 105                        (double)perfdata[j][i][powerpc_data_num],
 106                        perfdata[j][i][powerpc_data_num]);
 107         }
 108     }
 109 }
 110 #endif /* CONFIG_POWERPC_PERF */
 111
 112 /* ***** WARNING ***** WARNING ***** WARNING ***** */
 113 /*
 114 clear_blocks_dcbz32_ppc will not work properly on PowerPC processors with a
 115 cache line size not equal to 32 bytes.
 116 Fortunately all processor used by Apple up to at least the 7450 (aka second
 117 generation G4) use 32 bytes cache line.
 118 This is due to the use of the 'dcbz' instruction. It simply clear to zero a
 119 single cache line, so you need to know the cache line size to use it !
 120 It's absurd, but it's fast...
 121
 122 update 24/06/2003 : Apple released yesterday the G5, with a PPC970. cache line
 123 size: 128 bytes. Oups.
 124 The semantic of dcbz was changed, it always clear 32 bytes. so the function
 125 below will work, but will be slow. So I fixed check_dcbz_effect to use dcbzl,
 126 which is defined to clear a cache line (as dcbz before). So we still can
 127 distinguish, and use dcbz (32 bytes) or dcbzl (one cache line) as required.
 128
 129 see <http://developer.apple.com/technotes/tn/tn2087.html>
 130 and <http://developer.apple.com/technotes/tn/tn2086.html>
 131 */
 132 void clear_blocks_dcbz32_ppc(DCTELEM *blocks)
 133 {
 134 POWERPC_PERF_DECLARE(powerpc_clear_blocks_dcbz32, 1);
 135     register int misal = ((unsigned long)blocks & 0x00000010);
 136     register int i = 0;
 137 POWERPC_PERF_START_COUNT(powerpc_clear_blocks_dcbz32, 1);
 138 #if 1
 139     if (misal) {
 140         ((unsigned long*)blocks)[0] = 0L;
 141         ((unsigned long*)blocks)[1] = 0L;
 142         ((unsigned long*)blocks)[2] = 0L;
 143         ((unsigned long*)blocks)[3] = 0L;
 144         i += 16;
 145     }
 146     for ( ; i < sizeof(DCTELEM)*6*64-31 ; i += 32) {
 147         __asm__ volatile("dcbz %0,%1" : : "b" (blocks), "r" (i) : "memory");
 148     }
 149     if (misal) {
 150         ((unsigned long*)blocks)[188] = 0L;
 151         ((unsigned long*)blocks)[189] = 0L;
 152         ((unsigned long*)blocks)[190] = 0L;
 153         ((unsigned long*)blocks)[191] = 0L;
 154         i += 16;
 155     }
 156 #else
 157     memset(blocks, 0, sizeof(DCTELEM)*6*64);
 158 #endif
 159 POWERPC_PERF_STOP_COUNT(powerpc_clear_blocks_dcbz32, 1);
 160 }
 161
 162 /* same as above, when dcbzl clear a whole 128B cache line
 163    i.e. the PPC970 aka G5 */
 164 #if HAVE_DCBZL
 165 void clear_blocks_dcbz128_ppc(DCTELEM *blocks)
 166 {
 167 POWERPC_PERF_DECLARE(powerpc_clear_blocks_dcbz128, 1);
 168     register int misal = ((unsigned long)blocks & 0x0000007f);
 169     register int i = 0;
 170 POWERPC_PERF_START_COUNT(powerpc_clear_blocks_dcbz128, 1);
 171 #if 1
 172     if (misal) {
 173         // we could probably also optimize this case,
 174         // but there's not much point as the machines
 175         // aren't available yet (2003-06-26)
 176         memset(blocks, 0, sizeof(DCTELEM)*6*64);
 177     }
 178     else
 179         for ( ; i < sizeof(DCTELEM)*6*64 ; i += 128) {
 180             __asm__ volatile("dcbzl %0,%1" : : "b" (blocks), "r" (i) : "memory");
 181         }
 182 #else
 183     memset(blocks, 0, sizeof(DCTELEM)*6*64);
 184 #endif
 185 POWERPC_PERF_STOP_COUNT(powerpc_clear_blocks_dcbz128, 1);
 186 }
 187 #else
 188 void clear_blocks_dcbz128_ppc(DCTELEM *blocks)
 189 {
 190     memset(blocks, 0, sizeof(DCTELEM)*6*64);
 191 }
 192 #endif
 193
 194 #if HAVE_DCBZL
 195 /* check dcbz report how many bytes are set to 0 by dcbz */
 196 /* update 24/06/2003 : replace dcbz by dcbzl to get
 197    the intended effect (Apple "fixed" dcbz)
 198    unfortunately this cannot be used unless the assembler
 199    knows about dcbzl ... */
 200 long check_dcbzl_effect(void)
 201 {
 202     register char *fakedata = av_malloc(1024);
 203     register char *fakedata_middle;
 204     register long zero = 0;
 205     register long i = 0;
 206     long count = 0;
 207
 208     if (!fakedata) {
 209         return 0L;
 210     }
 211
 212     fakedata_middle = (fakedata + 512);
 213
 214     memset(fakedata, 0xFF, 1024);
 215
 216     /* below the constraint "b" seems to mean "Address base register"
 217        in gcc-3.3 / RS/6000 speaks. seems to avoid using r0, so.... */
 218     __asm__ volatile("dcbzl %0, %1" : : "b" (fakedata_middle), "r" (zero));
 219
 220     for (i = 0; i < 1024 ; i ++) {
 221         if (fakedata[i] == (char)0)
 222             count++;
 223     }
 224
 225     av_free(fakedata);
 226
 227     return count;
 228 }
 229 #else
 230 long check_dcbzl_effect(void)
 231 {
 232   return 0;
 233 }
 234 #endif
 235
 236 static void prefetch_ppc(void *mem, int stride, int h)
 237 {
 238     register const uint8_t *p = mem;
 239     do {
 240         __asm__ volatile ("dcbt 0,%0" : : "r" (p));
 241         p+= stride;
 242     } while(--h);
 243 }
 244
 245 void dsputil_init_ppc(DSPContext* c, AVCodecContext *avctx)
 246 {
 247     // Common optimizations whether AltiVec is available or not
 248     c->prefetch = prefetch_ppc;
 249     switch (check_dcbzl_effect()) {
 250         case 32:
 251             c->clear_blocks = clear_blocks_dcbz32_ppc;
 252             break;
 253         case 128:
 254             c->clear_blocks = clear_blocks_dcbz128_ppc;
 255             break;
 256         default:
 257             break;
 258     }
 259
 260 #if HAVE_ALTIVEC
 261     if(CONFIG_H264_DECODER) dsputil_h264_init_ppc(c, avctx);
 262
 263     if (has_altivec()) {
 264         mm_flags |= FF_MM_ALTIVEC;
 265
 266         dsputil_init_altivec(c, avctx);
 267         if(CONFIG_VC1_DECODER || CONFIG_WMV3_DECODER)
 268             vc1dsp_init_altivec(c, avctx);
 269         float_init_altivec(c, avctx);
 270         int_init_altivec(c, avctx);
 271         c->gmc1 = gmc1_altivec;
 272
 273 #if CONFIG_ENCODERS
 274         if (avctx->dct_algo == FF_DCT_AUTO ||
 275             avctx->dct_algo == FF_DCT_ALTIVEC) {
 276             c->fdct = fdct_altivec;
 277         }
 278 #endif //CONFIG_ENCODERS
 279
 280         if (avctx->lowres==0) {
 281             if ((avctx->idct_algo == FF_IDCT_AUTO) ||
 282                 (avctx->idct_algo == FF_IDCT_ALTIVEC)) {
 283                 c->idct_put = idct_put_altivec;
 284                 c->idct_add = idct_add_altivec;
 285                 c->idct_permutation_type = FF_TRANSPOSE_IDCT_PERM;
 286             }
 287         }
 288
 289 #if CONFIG_POWERPC_PERF
 290         {
 291             int i, j;
 292             for (i = 0 ; i < powerpc_perf_total ; i++) {
 293                 for (j = 0; j < POWERPC_NUM_PMC_ENABLED ; j++) {
 294                     perfdata[j][i][powerpc_data_min] = 0xFFFFFFFFFFFFFFFFULL;
 295                     perfdata[j][i][powerpc_data_max] = 0x0000000000000000ULL;
 296                     perfdata[j][i][powerpc_data_sum] = 0x0000000000000000ULL;
 297                     perfdata[j][i][powerpc_data_num] = 0x0000000000000000ULL;
 298                 }
 299             }
 300         }
 301 #endif /* CONFIG_POWERPC_PERF */
 302     }
 303 #endif /* HAVE_ALTIVEC */
 304 }