arch/powerpc/kernel/entry_32.S

   1 /*
   2  *  PowerPC version
   3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
   4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
   5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
   6  *  Adapted for Power Macintosh by Paul Mackerras.
   7  *  Low-level exception handlers and MMU support
   8  *  rewritten by Paul Mackerras.
   9  *    Copyright (C) 1996 Paul Mackerras.
  10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
  11  *
  12  *  This file contains the system call entry code, context switch
  13  *  code, and exception/interrupt return code for PowerPC.
  14  *
  15  *  This program is free software; you can redistribute it and/or
  16  *  modify it under the terms of the GNU General Public License
  17  *  as published by the Free Software Foundation; either version
  18  *  2 of the License, or (at your option) any later version.
  19  *
  20  */
  21
  22 #include <linux/errno.h>
  23 #include <linux/err.h>
  24 #include <linux/sys.h>
  25 #include <linux/threads.h>
  26 #include <asm/reg.h>
  27 #include <asm/page.h>
  28 #include <asm/mmu.h>
  29 #include <asm/cputable.h>
  30 #include <asm/thread_info.h>
  31 #include <asm/ppc_asm.h>
  32 #include <asm/asm-offsets.h>
  33 #include <asm/unistd.h>
  34 #include <asm/ftrace.h>
  35 #include <asm/ptrace.h>
  36 #include <asm/export.h>
  37
  38 /*
  39  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
  40  */
  41 #if MSR_KERNEL >= 0x10000
  42 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
  43 #else
  44 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
  45 #endif
  46
  47 #ifdef CONFIG_BOOKE
  48         .globl  mcheck_transfer_to_handler
  49 mcheck_transfer_to_handler:
  50         mfspr   r0,SPRN_DSRR0
  51         stw     r0,_DSRR0(r11)
  52         mfspr   r0,SPRN_DSRR1
  53         stw     r0,_DSRR1(r11)
  54         /* fall through */
  55
  56         .globl  debug_transfer_to_handler
  57 debug_transfer_to_handler:
  58         mfspr   r0,SPRN_CSRR0
  59         stw     r0,_CSRR0(r11)
  60         mfspr   r0,SPRN_CSRR1
  61         stw     r0,_CSRR1(r11)
  62         /* fall through */
  63
  64         .globl  crit_transfer_to_handler
  65 crit_transfer_to_handler:
  66 #ifdef CONFIG_PPC_BOOK3E_MMU
  67         mfspr   r0,SPRN_MAS0
  68         stw     r0,MAS0(r11)
  69         mfspr   r0,SPRN_MAS1
  70         stw     r0,MAS1(r11)
  71         mfspr   r0,SPRN_MAS2
  72         stw     r0,MAS2(r11)
  73         mfspr   r0,SPRN_MAS3
  74         stw     r0,MAS3(r11)
  75         mfspr   r0,SPRN_MAS6
  76         stw     r0,MAS6(r11)
  77 #ifdef CONFIG_PHYS_64BIT
  78         mfspr   r0,SPRN_MAS7
  79         stw     r0,MAS7(r11)
  80 #endif /* CONFIG_PHYS_64BIT */
  81 #endif /* CONFIG_PPC_BOOK3E_MMU */
  82 #ifdef CONFIG_44x
  83         mfspr   r0,SPRN_MMUCR
  84         stw     r0,MMUCR(r11)
  85 #endif
  86         mfspr   r0,SPRN_SRR0
  87         stw     r0,_SRR0(r11)
  88         mfspr   r0,SPRN_SRR1
  89         stw     r0,_SRR1(r11)
  90
  91         /* set the stack limit to the current stack
  92          * and set the limit to protect the thread_info
  93          * struct
  94          */
  95         mfspr   r8,SPRN_SPRG_THREAD
  96         lwz     r0,KSP_LIMIT(r8)
  97         stw     r0,SAVED_KSP_LIMIT(r11)
  98         rlwimi  r0,r1,0,0,(31-THREAD_SHIFT)
  99         stw     r0,KSP_LIMIT(r8)
 100         /* fall through */
 101 #endif
 102
 103 #ifdef CONFIG_40x
 104         .globl  crit_transfer_to_handler
 105 crit_transfer_to_handler:
 106         lwz     r0,crit_r10@l(0)
 107         stw     r0,GPR10(r11)
 108         lwz     r0,crit_r11@l(0)
 109         stw     r0,GPR11(r11)
 110         mfspr   r0,SPRN_SRR0
 111         stw     r0,crit_srr0@l(0)
 112         mfspr   r0,SPRN_SRR1
 113         stw     r0,crit_srr1@l(0)
 114
 115         /* set the stack limit to the current stack
 116          * and set the limit to protect the thread_info
 117          * struct
 118          */
 119         mfspr   r8,SPRN_SPRG_THREAD
 120         lwz     r0,KSP_LIMIT(r8)
 121         stw     r0,saved_ksp_limit@l(0)
 122         rlwimi  r0,r1,0,0,(31-THREAD_SHIFT)
 123         stw     r0,KSP_LIMIT(r8)
 124         /* fall through */
 125 #endif
 126
 127 /*
 128  * This code finishes saving the registers to the exception frame
 129  * and jumps to the appropriate handler for the exception, turning
 130  * on address translation.
 131  * Note that we rely on the caller having set cr0.eq iff the exception
 132  * occurred in kernel mode (i.e. MSR:PR = 0).
 133  */
 134         .globl  transfer_to_handler_full
 135 transfer_to_handler_full:
 136         SAVE_NVGPRS(r11)
 137         /* fall through */
 138
 139         .globl  transfer_to_handler
 140 transfer_to_handler:
 141         stw     r2,GPR2(r11)
 142         stw     r12,_NIP(r11)
 143         stw     r9,_MSR(r11)
 144         andi.   r2,r9,MSR_PR
 145         mfctr   r12
 146         mfspr   r2,SPRN_XER
 147         stw     r12,_CTR(r11)
 148         stw     r2,_XER(r11)
 149         mfspr   r12,SPRN_SPRG_THREAD
 150         addi    r2,r12,-THREAD
 151         tovirt(r2,r2)                   /* set r2 to current */
 152         beq     2f                      /* if from user, fix up THREAD.regs */
 153         addi    r11,r1,STACK_FRAME_OVERHEAD
 154         stw     r11,PT_REGS(r12)
 155 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
 156         /* Check to see if the dbcr0 register is set up to debug.  Use the
 157            internal debug mode bit to do this. */
 158         lwz     r12,THREAD_DBCR0(r12)
 159         andis.  r12,r12,DBCR0_IDM@h
 160         beq+    3f
 161         /* From user and task is ptraced - load up global dbcr0 */
 162         li      r12,-1                  /* clear all pending debug events */
 163         mtspr   SPRN_DBSR,r12
 164         lis     r11,global_dbcr0@ha
 165         tophys(r11,r11)
 166         addi    r11,r11,global_dbcr0@l
 167 #ifdef CONFIG_SMP
 168         CURRENT_THREAD_INFO(r9, r1)
 169         lwz     r9,TI_CPU(r9)
 170         slwi    r9,r9,3
 171         add     r11,r11,r9
 172 #endif
 173         lwz     r12,0(r11)
 174         mtspr   SPRN_DBCR0,r12
 175         lwz     r12,4(r11)
 176         addi    r12,r12,-1
 177         stw     r12,4(r11)
 178 #endif
 179 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
 180         CURRENT_THREAD_INFO(r9, r1)
 181         tophys(r9, r9)
 182         ACCOUNT_CPU_USER_ENTRY(r9, r11, r12)
 183 #endif
 184
 185         b       3f
 186
 187 2:      /* if from kernel, check interrupted DOZE/NAP mode and
 188          * check for stack overflow
 189          */
 190         lwz     r9,KSP_LIMIT(r12)
 191         cmplw   r1,r9                   /* if r1 <= ksp_limit */
 192         ble-    stack_ovf               /* then the kernel stack overflowed */
 193 5:
 194 #if defined(CONFIG_6xx) || defined(CONFIG_E500)
 195         CURRENT_THREAD_INFO(r9, r1)
 196         tophys(r9,r9)                   /* check local flags */
 197         lwz     r12,TI_LOCAL_FLAGS(r9)
 198         mtcrf   0x01,r12
 199         bt-     31-TLF_NAPPING,4f
 200         bt-     31-TLF_SLEEPING,7f
 201 #endif /* CONFIG_6xx || CONFIG_E500 */
 202         .globl transfer_to_handler_cont
 203 transfer_to_handler_cont:
 204 3:
 205         mflr    r9
 206         lwz     r11,0(r9)               /* virtual address of handler */
 207         lwz     r9,4(r9)                /* where to go when done */
 208 #ifdef CONFIG_TRACE_IRQFLAGS
 209         lis     r12,reenable_mmu@h
 210         ori     r12,r12,reenable_mmu@l
 211         mtspr   SPRN_SRR0,r12
 212         mtspr   SPRN_SRR1,r10
 213         SYNC
 214         RFI
 215 reenable_mmu:                           /* re-enable mmu so we can */
 216         mfmsr   r10
 217         lwz     r12,_MSR(r1)
 218         xor     r10,r10,r12
 219         andi.   r10,r10,MSR_EE          /* Did EE change? */
 220         beq     1f
 221
 222         /*
 223          * The trace_hardirqs_off will use CALLER_ADDR0 and CALLER_ADDR1.
 224          * If from user mode there is only one stack frame on the stack, and
 225          * accessing CALLER_ADDR1 will cause oops. So we need create a dummy
 226          * stack frame to make trace_hardirqs_off happy.
 227          *
 228          * This is handy because we also need to save a bunch of GPRs,
 229          * r3 can be different from GPR3(r1) at this point, r9 and r11
 230          * contains the old MSR and handler address respectively,
 231          * r4 & r5 can contain page fault arguments that need to be passed
 232          * along as well. r12, CCR, CTR, XER etc... are left clobbered as
 233          * they aren't useful past this point (aren't syscall arguments),
 234          * the rest is restored from the exception frame.
 235          */
 236         stwu    r1,-32(r1)
 237         stw     r9,8(r1)
 238         stw     r11,12(r1)
 239         stw     r3,16(r1)
 240         stw     r4,20(r1)
 241         stw     r5,24(r1)
 242         bl      trace_hardirqs_off
 243         lwz     r5,24(r1)
 244         lwz     r4,20(r1)
 245         lwz     r3,16(r1)
 246         lwz     r11,12(r1)
 247         lwz     r9,8(r1)
 248         addi    r1,r1,32
 249         lwz     r0,GPR0(r1)
 250         lwz     r6,GPR6(r1)
 251         lwz     r7,GPR7(r1)
 252         lwz     r8,GPR8(r1)
 253 1:      mtctr   r11
 254         mtlr    r9
 255         bctr                            /* jump to handler */
 256 #else /* CONFIG_TRACE_IRQFLAGS */
 257         mtspr   SPRN_SRR0,r11
 258         mtspr   SPRN_SRR1,r10
 259         mtlr    r9
 260         SYNC
 261         RFI                             /* jump to handler, enable MMU */
 262 #endif /* CONFIG_TRACE_IRQFLAGS */
 263
 264 #if defined (CONFIG_6xx) || defined(CONFIG_E500)
 265 4:      rlwinm  r12,r12,0,~_TLF_NAPPING
 266         stw     r12,TI_LOCAL_FLAGS(r9)
 267         b       power_save_ppc32_restore
 268
 269 7:      rlwinm  r12,r12,0,~_TLF_SLEEPING
 270         stw     r12,TI_LOCAL_FLAGS(r9)
 271         lwz     r9,_MSR(r11)            /* if sleeping, clear MSR.EE */
 272         rlwinm  r9,r9,0,~MSR_EE
 273         lwz     r12,_LINK(r11)          /* and return to address in LR */
 274         b       fast_exception_return
 275 #endif
 276
 277 /*
 278  * On kernel stack overflow, load up an initial stack pointer
 279  * and call StackOverflow(regs), which should not return.
 280  */
 281 stack_ovf:
 282         /* sometimes we use a statically-allocated stack, which is OK. */
 283         lis     r12,_end@h
 284         ori     r12,r12,_end@l
 285         cmplw   r1,r12
 286         ble     5b                      /* r1 <= &_end is OK */
 287         SAVE_NVGPRS(r11)
 288         addi    r3,r1,STACK_FRAME_OVERHEAD
 289         lis     r1,init_thread_union@ha
 290         addi    r1,r1,init_thread_union@l
 291         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
 292         lis     r9,StackOverflow@ha
 293         addi    r9,r9,StackOverflow@l
 294         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 295         FIX_SRR1(r10,r12)
 296         mtspr   SPRN_SRR0,r9
 297         mtspr   SPRN_SRR1,r10
 298         SYNC
 299         RFI
 300
 301 /*
 302  * Handle a system call.
 303  */
 304         .stabs  "arch/powerpc/kernel/",N_SO,0,0,0f
 305         .stabs  "entry_32.S",N_SO,0,0,0f
 306 0:
 307
 308 _GLOBAL(DoSyscall)
 309         stw     r3,ORIG_GPR3(r1)
 310         li      r12,0
 311         stw     r12,RESULT(r1)
 312         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
 313         rlwinm  r11,r11,0,4,2
 314         stw     r11,_CCR(r1)
 315 #ifdef CONFIG_TRACE_IRQFLAGS
 316         /* Return from syscalls can (and generally will) hard enable
 317          * interrupts. You aren't supposed to call a syscall with
 318          * interrupts disabled in the first place. However, to ensure
 319          * that we get it right vs. lockdep if it happens, we force
 320          * that hard enable here with appropriate tracing if we see
 321          * that we have been called with interrupts off
 322          */
 323         mfmsr   r11
 324         andi.   r12,r11,MSR_EE
 325         bne+    1f
 326         /* We came in with interrupts disabled, we enable them now */
 327         bl      trace_hardirqs_on
 328         mfmsr   r11
 329         lwz     r0,GPR0(r1)
 330         lwz     r3,GPR3(r1)
 331         lwz     r4,GPR4(r1)
 332         ori     r11,r11,MSR_EE
 333         lwz     r5,GPR5(r1)
 334         lwz     r6,GPR6(r1)
 335         lwz     r7,GPR7(r1)
 336         lwz     r8,GPR8(r1)
 337         mtmsr   r11
 338 1:
 339 #endif /* CONFIG_TRACE_IRQFLAGS */
 340         CURRENT_THREAD_INFO(r10, r1)
 341         lwz     r11,TI_FLAGS(r10)
 342         andi.   r11,r11,_TIF_SYSCALL_DOTRACE
 343         bne-    syscall_dotrace
 344 syscall_dotrace_cont:
 345         cmplwi  0,r0,NR_syscalls
 346         lis     r10,sys_call_table@h
 347         ori     r10,r10,sys_call_table@l
 348         slwi    r0,r0,2
 349         bge-    66f
 350         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
 351         mtlr    r10
 352         addi    r9,r1,STACK_FRAME_OVERHEAD
 353         PPC440EP_ERR42
 354         blrl                    /* Call handler */
 355         .globl  ret_from_syscall
 356 ret_from_syscall:
 357         mr      r6,r3
 358         CURRENT_THREAD_INFO(r12, r1)
 359         /* disable interrupts so current_thread_info()->flags can't change */
 360         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
 361         /* Note: We don't bother telling lockdep about it */
 362         SYNC
 363         MTMSRD(r10)
 364         lwz     r9,TI_FLAGS(r12)
 365         li      r8,-MAX_ERRNO
 366         andi.   r0,r9,(_TIF_SYSCALL_DOTRACE|_TIF_SINGLESTEP|_TIF_USER_WORK_MASK|_TIF_PERSYSCALL_MASK)
 367         bne-    syscall_exit_work
 368         cmplw   0,r3,r8
 369         blt+    syscall_exit_cont
 370         lwz     r11,_CCR(r1)                    /* Load CR */
 371         neg     r3,r3
 372         oris    r11,r11,0x1000  /* Set SO bit in CR */
 373         stw     r11,_CCR(r1)
 374 syscall_exit_cont:
 375         lwz     r8,_MSR(r1)
 376 #ifdef CONFIG_TRACE_IRQFLAGS
 377         /* If we are going to return from the syscall with interrupts
 378          * off, we trace that here. It shouldn't happen though but we
 379          * want to catch the bugger if it does right ?
 380          */
 381         andi.   r10,r8,MSR_EE
 382         bne+    1f
 383         stw     r3,GPR3(r1)
 384         bl      trace_hardirqs_off
 385         lwz     r3,GPR3(r1)
 386 1:
 387 #endif /* CONFIG_TRACE_IRQFLAGS */
 388 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 389         /* If the process has its own DBCR0 value, load it up.  The internal
 390            debug mode bit tells us that dbcr0 should be loaded. */
 391         lwz     r0,THREAD+THREAD_DBCR0(r2)
 392         andis.  r10,r0,DBCR0_IDM@h
 393         bnel-   load_dbcr0
 394 #endif
 395 #ifdef CONFIG_44x
 396 BEGIN_MMU_FTR_SECTION
 397         lis     r4,icache_44x_need_flush@ha
 398         lwz     r5,icache_44x_need_flush@l(r4)
 399         cmplwi  cr0,r5,0
 400         bne-    2f
 401 1:
 402 END_MMU_FTR_SECTION_IFCLR(MMU_FTR_TYPE_47x)
 403 #endif /* CONFIG_44x */
 404 BEGIN_FTR_SECTION
 405         lwarx   r7,0,r1
 406 END_FTR_SECTION_IFSET(CPU_FTR_NEED_PAIRED_STWCX)
 407         stwcx.  r0,0,r1                 /* to clear the reservation */
 408 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
 409         andi.   r4,r8,MSR_PR
 410         beq     3f
 411         CURRENT_THREAD_INFO(r4, r1)
 412         ACCOUNT_CPU_USER_EXIT(r4, r5, r7)
 413 3:
 414 #endif
 415         lwz     r4,_LINK(r1)
 416         lwz     r5,_CCR(r1)
 417         mtlr    r4
 418         mtcr    r5
 419         lwz     r7,_NIP(r1)
 420         FIX_SRR1(r8, r0)
 421         lwz     r2,GPR2(r1)
 422         lwz     r1,GPR1(r1)
 423         mtspr   SPRN_SRR0,r7
 424         mtspr   SPRN_SRR1,r8
 425         SYNC
 426         RFI
 427 #ifdef CONFIG_44x
 428 2:      li      r7,0
 429         iccci   r0,r0
 430         stw     r7,icache_44x_need_flush@l(r4)
 431         b       1b
 432 #endif  /* CONFIG_44x */
 433
 434 66:     li      r3,-ENOSYS
 435         b       ret_from_syscall
 436
 437         .globl  ret_from_fork
 438 ret_from_fork:
 439         REST_NVGPRS(r1)
 440         bl      schedule_tail
 441         li      r3,0
 442         b       ret_from_syscall
 443
 444         .globl  ret_from_kernel_thread
 445 ret_from_kernel_thread:
 446         REST_NVGPRS(r1)
 447         bl      schedule_tail
 448         mtlr    r14
 449         mr      r3,r15
 450         PPC440EP_ERR42
 451         blrl
 452         li      r3,0
 453         b       ret_from_syscall
 454
 455 /* Traced system call support */
 456 syscall_dotrace:
 457         SAVE_NVGPRS(r1)
 458         li      r0,0xc00
 459         stw     r0,_TRAP(r1)
 460         addi    r3,r1,STACK_FRAME_OVERHEAD
 461         bl      do_syscall_trace_enter
 462         /*
 463          * Restore argument registers possibly just changed.
 464          * We use the return value of do_syscall_trace_enter
 465          * for call number to look up in the table (r0).
 466          */
 467         mr      r0,r3
 468         lwz     r3,GPR3(r1)
 469         lwz     r4,GPR4(r1)
 470         lwz     r5,GPR5(r1)
 471         lwz     r6,GPR6(r1)
 472         lwz     r7,GPR7(r1)
 473         lwz     r8,GPR8(r1)
 474         REST_NVGPRS(r1)
 475
 476         cmplwi  r0,NR_syscalls
 477         /* Return code is already in r3 thanks to do_syscall_trace_enter() */
 478         bge-    ret_from_syscall
 479         b       syscall_dotrace_cont
 480
 481 syscall_exit_work:
 482         andi.   r0,r9,_TIF_RESTOREALL
 483         beq+    0f
 484         REST_NVGPRS(r1)
 485         b       2f
 486 0:      cmplw   0,r3,r8
 487         blt+    1f
 488         andi.   r0,r9,_TIF_NOERROR
 489         bne-    1f
 490         lwz     r11,_CCR(r1)                    /* Load CR */
 491         neg     r3,r3
 492         oris    r11,r11,0x1000  /* Set SO bit in CR */
 493         stw     r11,_CCR(r1)
 494
 495 1:      stw     r6,RESULT(r1)   /* Save result */
 496         stw     r3,GPR3(r1)     /* Update return value */
 497 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
 498         beq     4f
 499
 500         /* Clear per-syscall TIF flags if any are set.  */
 501
 502         li      r11,_TIF_PERSYSCALL_MASK
 503         addi    r12,r12,TI_FLAGS
 504 3:      lwarx   r8,0,r12
 505         andc    r8,r8,r11
 506 #ifdef CONFIG_IBM405_ERR77
 507         dcbt    0,r12
 508 #endif
 509         stwcx.  r8,0,r12
 510         bne-    3b
 511         subi    r12,r12,TI_FLAGS
 512
 513 4:      /* Anything which requires enabling interrupts? */
 514         andi.   r0,r9,(_TIF_SYSCALL_DOTRACE|_TIF_SINGLESTEP)
 515         beq     ret_from_except
 516
 517         /* Re-enable interrupts. There is no need to trace that with
 518          * lockdep as we are supposed to have IRQs on at this point
 519          */
 520         ori     r10,r10,MSR_EE
 521         SYNC
 522         MTMSRD(r10)
 523
 524         /* Save NVGPRS if they're not saved already */
 525         lwz     r4,_TRAP(r1)
 526         andi.   r4,r4,1
 527         beq     5f
 528         SAVE_NVGPRS(r1)
 529         li      r4,0xc00
 530         stw     r4,_TRAP(r1)
 531 5:
 532         addi    r3,r1,STACK_FRAME_OVERHEAD
 533         bl      do_syscall_trace_leave
 534         b       ret_from_except_full
 535
 536 /*
 537  * The fork/clone functions need to copy the full register set into
 538  * the child process. Therefore we need to save all the nonvolatile
 539  * registers (r13 - r31) before calling the C code.
 540  */
 541         .globl  ppc_fork
 542 ppc_fork:
 543         SAVE_NVGPRS(r1)
 544         lwz     r0,_TRAP(r1)
 545         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 546         stw     r0,_TRAP(r1)            /* register set saved */
 547         b       sys_fork
 548
 549         .globl  ppc_vfork
 550 ppc_vfork:
 551         SAVE_NVGPRS(r1)
 552         lwz     r0,_TRAP(r1)
 553         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 554         stw     r0,_TRAP(r1)            /* register set saved */
 555         b       sys_vfork
 556
 557         .globl  ppc_clone
 558 ppc_clone:
 559         SAVE_NVGPRS(r1)
 560         lwz     r0,_TRAP(r1)
 561         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 562         stw     r0,_TRAP(r1)            /* register set saved */
 563         b       sys_clone
 564
 565         .globl  ppc_swapcontext
 566 ppc_swapcontext:
 567         SAVE_NVGPRS(r1)
 568         lwz     r0,_TRAP(r1)
 569         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 570         stw     r0,_TRAP(r1)            /* register set saved */
 571         b       sys_swapcontext
 572
 573 /*
 574  * Top-level page fault handling.
 575  * This is in assembler because if do_page_fault tells us that
 576  * it is a bad kernel page fault, we want to save the non-volatile
 577  * registers before calling bad_page_fault.
 578  */
 579         .globl  handle_page_fault
 580 handle_page_fault:
 581         stw     r4,_DAR(r1)
 582         addi    r3,r1,STACK_FRAME_OVERHEAD
 583         bl      do_page_fault
 584         cmpwi   r3,0
 585         beq+    ret_from_except
 586         SAVE_NVGPRS(r1)
 587         lwz     r0,_TRAP(r1)
 588         clrrwi  r0,r0,1
 589         stw     r0,_TRAP(r1)
 590         mr      r5,r3
 591         addi    r3,r1,STACK_FRAME_OVERHEAD
 592         lwz     r4,_DAR(r1)
 593         bl      bad_page_fault
 594         b       ret_from_except_full
 595
 596 /*
 597  * This routine switches between two different tasks.  The process
 598  * state of one is saved on its kernel stack.  Then the state
 599  * of the other is restored from its kernel stack.  The memory
 600  * management hardware is updated to the second process's state.
 601  * Finally, we can return to the second process.
 602  * On entry, r3 points to the THREAD for the current task, r4
 603  * points to the THREAD for the new task.
 604  *
 605  * This routine is always called with interrupts disabled.
 606  *
 607  * Note: there are two ways to get to the "going out" portion
 608  * of this code; either by coming in via the entry (_switch)
 609  * or via "fork" which must set up an environment equivalent
 610  * to the "_switch" path.  If you change this , you'll have to
 611  * change the fork code also.
 612  *
 613  * The code which creates the new task context is in 'copy_thread'
 614  * in arch/ppc/kernel/process.c
 615  */
 616 _GLOBAL(_switch)
 617         stwu    r1,-INT_FRAME_SIZE(r1)
 618         mflr    r0
 619         stw     r0,INT_FRAME_SIZE+4(r1)
 620         /* r3-r12 are caller saved -- Cort */
 621         SAVE_NVGPRS(r1)
 622         stw     r0,_NIP(r1)     /* Return to switch caller */
 623         mfmsr   r11
 624         li      r0,MSR_FP       /* Disable floating-point */
 625 #ifdef CONFIG_ALTIVEC
 626 BEGIN_FTR_SECTION
 627         oris    r0,r0,MSR_VEC@h /* Disable altivec */
 628         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
 629         stw     r12,THREAD+THREAD_VRSAVE(r2)
 630 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 631 #endif /* CONFIG_ALTIVEC */
 632 #ifdef CONFIG_SPE
 633 BEGIN_FTR_SECTION
 634         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
 635         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
 636         stw     r12,THREAD+THREAD_SPEFSCR(r2)
 637 END_FTR_SECTION_IFSET(CPU_FTR_SPE)
 638 #endif /* CONFIG_SPE */
 639         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
 640         beq+    1f
 641         andc    r11,r11,r0
 642         MTMSRD(r11)
 643         isync
 644 1:      stw     r11,_MSR(r1)
 645         mfcr    r10
 646         stw     r10,_CCR(r1)
 647         stw     r1,KSP(r3)      /* Set old stack pointer */
 648
 649 #ifdef CONFIG_SMP
 650         /* We need a sync somewhere here to make sure that if the
 651          * previous task gets rescheduled on another CPU, it sees all
 652          * stores it has performed on this one.
 653          */
 654         sync
 655 #endif /* CONFIG_SMP */
 656
 657         tophys(r0,r4)
 658         mtspr   SPRN_SPRG_THREAD,r0     /* Update current THREAD phys addr */
 659         lwz     r1,KSP(r4)      /* Load new stack pointer */
 660
 661         /* save the old current 'last' for return value */
 662         mr      r3,r2
 663         addi    r2,r4,-THREAD   /* Update current */
 664
 665 #ifdef CONFIG_ALTIVEC
 666 BEGIN_FTR_SECTION
 667         lwz     r0,THREAD+THREAD_VRSAVE(r2)
 668         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
 669 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 670 #endif /* CONFIG_ALTIVEC */
 671 #ifdef CONFIG_SPE
 672 BEGIN_FTR_SECTION
 673         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
 674         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
 675 END_FTR_SECTION_IFSET(CPU_FTR_SPE)
 676 #endif /* CONFIG_SPE */
 677
 678         lwz     r0,_CCR(r1)
 679         mtcrf   0xFF,r0
 680         /* r3-r12 are destroyed -- Cort */
 681         REST_NVGPRS(r1)
 682
 683         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
 684         mtlr    r4
 685         addi    r1,r1,INT_FRAME_SIZE
 686         blr
 687
 688         .globl  fast_exception_return
 689 fast_exception_return:
 690 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 691         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
 692         beq     1f                      /* if not, we've got problems */
 693 #endif
 694
 695 2:      REST_4GPRS(3, r11)
 696         lwz     r10,_CCR(r11)
 697         REST_GPR(1, r11)
 698         mtcr    r10
 699         lwz     r10,_LINK(r11)
 700         mtlr    r10
 701         REST_GPR(10, r11)
 702         mtspr   SPRN_SRR1,r9
 703         mtspr   SPRN_SRR0,r12
 704         REST_GPR(9, r11)
 705         REST_GPR(12, r11)
 706         lwz     r11,GPR11(r11)
 707         SYNC
 708         RFI
 709
 710 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 711 /* check if the exception happened in a restartable section */
 712 1:      lis     r3,exc_exit_restart_end@ha
 713         addi    r3,r3,exc_exit_restart_end@l
 714         cmplw   r12,r3
 715         bge     3f
 716         lis     r4,exc_exit_restart@ha
 717         addi    r4,r4,exc_exit_restart@l
 718         cmplw   r12,r4
 719         blt     3f
 720         lis     r3,fee_restarts@ha
 721         tophys(r3,r3)
 722         lwz     r5,fee_restarts@l(r3)
 723         addi    r5,r5,1
 724         stw     r5,fee_restarts@l(r3)
 725         mr      r12,r4          /* restart at exc_exit_restart */
 726         b       2b
 727
 728         .section .bss
 729         .align  2
 730 fee_restarts:
 731         .space  4
 732         .previous
 733
 734 /* aargh, a nonrecoverable interrupt, panic */
 735 /* aargh, we don't know which trap this is */
 736 /* but the 601 doesn't implement the RI bit, so assume it's OK */
 737 3:
 738 BEGIN_FTR_SECTION
 739         b       2b
 740 END_FTR_SECTION_IFSET(CPU_FTR_601)
 741         li      r10,-1
 742         stw     r10,_TRAP(r11)
 743         addi    r3,r1,STACK_FRAME_OVERHEAD
 744         lis     r10,MSR_KERNEL@h
 745         ori     r10,r10,MSR_KERNEL@l
 746         bl      transfer_to_handler_full
 747         .long   nonrecoverable_exception
 748         .long   ret_from_except
 749 #endif
 750
 751         .globl  ret_from_except_full
 752 ret_from_except_full:
 753         REST_NVGPRS(r1)
 754         /* fall through */
 755
 756         .globl  ret_from_except
 757 ret_from_except:
 758         /* Hard-disable interrupts so that current_thread_info()->flags
 759          * can't change between when we test it and when we return
 760          * from the interrupt. */
 761         /* Note: We don't bother telling lockdep about it */
 762         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 763         SYNC                    /* Some chip revs have problems here... */
 764         MTMSRD(r10)             /* disable interrupts */
 765
 766         lwz     r3,_MSR(r1)     /* Returning to user mode? */
 767         andi.   r0,r3,MSR_PR
 768         beq     resume_kernel
 769
 770 user_exc_return:                /* r10 contains MSR_KERNEL here */
 771         /* Check current_thread_info()->flags */
 772         CURRENT_THREAD_INFO(r9, r1)
 773         lwz     r9,TI_FLAGS(r9)
 774         andi.   r0,r9,_TIF_USER_WORK_MASK
 775         bne     do_work
 776
 777 restore_user:
 778 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 779         /* Check whether this process has its own DBCR0 value.  The internal
 780            debug mode bit tells us that dbcr0 should be loaded. */
 781         lwz     r0,THREAD+THREAD_DBCR0(r2)
 782         andis.  r10,r0,DBCR0_IDM@h
 783         bnel-   load_dbcr0
 784 #endif
 785 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
 786         CURRENT_THREAD_INFO(r9, r1)
 787         ACCOUNT_CPU_USER_EXIT(r9, r10, r11)
 788 #endif
 789
 790         b       restore
 791
 792 /* N.B. the only way to get here is from the beq following ret_from_except. */
 793 resume_kernel:
 794         /* check current_thread_info, _TIF_EMULATE_STACK_STORE */
 795         CURRENT_THREAD_INFO(r9, r1)
 796         lwz     r8,TI_FLAGS(r9)
 797         andis.  r0,r8,_TIF_EMULATE_STACK_STORE@h
 798         beq+    1f
 799
 800         addi    r8,r1,INT_FRAME_SIZE    /* Get the kprobed function entry */
 801
 802         lwz     r3,GPR1(r1)
 803         subi    r3,r3,INT_FRAME_SIZE    /* dst: Allocate a trampoline exception frame */
 804         mr      r4,r1                   /* src:  current exception frame */
 805         mr      r1,r3                   /* Reroute the trampoline frame to r1 */
 806
 807         /* Copy from the original to the trampoline. */
 808         li      r5,INT_FRAME_SIZE/4     /* size: INT_FRAME_SIZE */
 809         li      r6,0                    /* start offset: 0 */
 810         mtctr   r5
 811 2:      lwzx    r0,r6,r4
 812         stwx    r0,r6,r3
 813         addi    r6,r6,4
 814         bdnz    2b
 815
 816         /* Do real store operation to complete stwu */
 817         lwz     r5,GPR1(r1)
 818         stw     r8,0(r5)
 819
 820         /* Clear _TIF_EMULATE_STACK_STORE flag */
 821         lis     r11,_TIF_EMULATE_STACK_STORE@h
 822         addi    r5,r9,TI_FLAGS
 823 0:      lwarx   r8,0,r5
 824         andc    r8,r8,r11
 825 #ifdef CONFIG_IBM405_ERR77
 826         dcbt    0,r5
 827 #endif
 828         stwcx.  r8,0,r5
 829         bne-    0b
 830 1:
 831
 832 #ifdef CONFIG_PREEMPT
 833         /* check current_thread_info->preempt_count */
 834         lwz     r0,TI_PREEMPT(r9)
 835         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
 836         bne     restore
 837         andi.   r8,r8,_TIF_NEED_RESCHED
 838         bne+    1f
 839         lwz     r0,TI_PREEMPT_LAZY(r9)
 840         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
 841         bne     restore
 842         lwz     r0,TI_FLAGS(r9)
 843         andi.   r0,r0,_TIF_NEED_RESCHED_LAZY
 844         beq+    restore
 845 1:
 846         lwz     r3,_MSR(r1)
 847         andi.   r0,r3,MSR_EE    /* interrupts off? */
 848         beq     restore         /* don't schedule if so */
 849 #ifdef CONFIG_TRACE_IRQFLAGS
 850         /* Lockdep thinks irqs are enabled, we need to call
 851          * preempt_schedule_irq with IRQs off, so we inform lockdep
 852          * now that we -did- turn them off already
 853          */
 854         bl      trace_hardirqs_off
 855 #endif
 856 2:      bl      preempt_schedule_irq
 857         CURRENT_THREAD_INFO(r9, r1)
 858         lwz     r3,TI_FLAGS(r9)
 859         andi.   r0,r3,_TIF_NEED_RESCHED_MASK
 860         bne-    2b
 861 #ifdef CONFIG_TRACE_IRQFLAGS
 862         /* And now, to properly rebalance the above, we tell lockdep they
 863          * are being turned back on, which will happen when we return
 864          */
 865         bl      trace_hardirqs_on
 866 #endif
 867 #endif /* CONFIG_PREEMPT */
 868
 869         /* interrupts are hard-disabled at this point */
 870 restore:
 871 #ifdef CONFIG_44x
 872 BEGIN_MMU_FTR_SECTION
 873         b       1f
 874 END_MMU_FTR_SECTION_IFSET(MMU_FTR_TYPE_47x)
 875         lis     r4,icache_44x_need_flush@ha
 876         lwz     r5,icache_44x_need_flush@l(r4)
 877         cmplwi  cr0,r5,0
 878         beq+    1f
 879         li      r6,0
 880         iccci   r0,r0
 881         stw     r6,icache_44x_need_flush@l(r4)
 882 1:
 883 #endif  /* CONFIG_44x */
 884
 885         lwz     r9,_MSR(r1)
 886 #ifdef CONFIG_TRACE_IRQFLAGS
 887         /* Lockdep doesn't know about the fact that IRQs are temporarily turned
 888          * off in this assembly code while peeking at TI_FLAGS() and such. However
 889          * we need to inform it if the exception turned interrupts off, and we
 890          * are about to trun them back on.
 891          *
 892          * The problem here sadly is that we don't know whether the exceptions was
 893          * one that turned interrupts off or not. So we always tell lockdep about
 894          * turning them on here when we go back to wherever we came from with EE
 895          * on, even if that may meen some redudant calls being tracked. Maybe later
 896          * we could encode what the exception did somewhere or test the exception
 897          * type in the pt_regs but that sounds overkill
 898          */
 899         andi.   r10,r9,MSR_EE
 900         beq     1f
 901         /*
 902          * Since the ftrace irqsoff latency trace checks CALLER_ADDR1,
 903          * which is the stack frame here, we need to force a stack frame
 904          * in case we came from user space.
 905          */
 906         stwu    r1,-32(r1)
 907         mflr    r0
 908         stw     r0,4(r1)
 909         stwu    r1,-32(r1)
 910         bl      trace_hardirqs_on
 911         lwz     r1,0(r1)
 912         lwz     r1,0(r1)
 913         lwz     r9,_MSR(r1)
 914 1:
 915 #endif /* CONFIG_TRACE_IRQFLAGS */
 916
 917         lwz     r0,GPR0(r1)
 918         lwz     r2,GPR2(r1)
 919         REST_4GPRS(3, r1)
 920         REST_2GPRS(7, r1)
 921
 922         lwz     r10,_XER(r1)
 923         lwz     r11,_CTR(r1)
 924         mtspr   SPRN_XER,r10
 925         mtctr   r11
 926
 927         PPC405_ERR77(0,r1)
 928 BEGIN_FTR_SECTION
 929         lwarx   r11,0,r1
 930 END_FTR_SECTION_IFSET(CPU_FTR_NEED_PAIRED_STWCX)
 931         stwcx.  r0,0,r1                 /* to clear the reservation */
 932
 933 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 934         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
 935         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
 936
 937         lwz     r10,_CCR(r1)
 938         lwz     r11,_LINK(r1)
 939         mtcrf   0xFF,r10
 940         mtlr    r11
 941
 942         /*
 943          * Once we put values in SRR0 and SRR1, we are in a state
 944          * where exceptions are not recoverable, since taking an
 945          * exception will trash SRR0 and SRR1.  Therefore we clear the
 946          * MSR:RI bit to indicate this.  If we do take an exception,
 947          * we can't return to the point of the exception but we
 948          * can restart the exception exit path at the label
 949          * exc_exit_restart below.  -- paulus
 950          */
 951         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
 952         SYNC
 953         MTMSRD(r10)             /* clear the RI bit */
 954         .globl exc_exit_restart
 955 exc_exit_restart:
 956         lwz     r12,_NIP(r1)
 957         FIX_SRR1(r9,r10)
 958         mtspr   SPRN_SRR0,r12
 959         mtspr   SPRN_SRR1,r9
 960         REST_4GPRS(9, r1)
 961         lwz     r1,GPR1(r1)
 962         .globl exc_exit_restart_end
 963 exc_exit_restart_end:
 964         SYNC
 965         RFI
 966
 967 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
 968         /*
 969          * This is a bit different on 4xx/Book-E because it doesn't have
 970          * the RI bit in the MSR.
 971          * The TLB miss handler checks if we have interrupted
 972          * the exception exit path and restarts it if so
 973          * (well maybe one day it will... :).
 974          */
 975         lwz     r11,_LINK(r1)
 976         mtlr    r11
 977         lwz     r10,_CCR(r1)
 978         mtcrf   0xff,r10
 979         REST_2GPRS(9, r1)
 980         .globl exc_exit_restart
 981 exc_exit_restart:
 982         lwz     r11,_NIP(r1)
 983         lwz     r12,_MSR(r1)
 984 exc_exit_start:
 985         mtspr   SPRN_SRR0,r11
 986         mtspr   SPRN_SRR1,r12
 987         REST_2GPRS(11, r1)
 988         lwz     r1,GPR1(r1)
 989         .globl exc_exit_restart_end
 990 exc_exit_restart_end:
 991         PPC405_ERR77_SYNC
 992         rfi
 993         b       .                       /* prevent prefetch past rfi */
 994
 995 /*
 996  * Returning from a critical interrupt in user mode doesn't need
 997  * to be any different from a normal exception.  For a critical
 998  * interrupt in the kernel, we just return (without checking for
 999  * preemption) since the interrupt may have happened at some crucial
1000  * place (e.g. inside the TLB miss handler), and because we will be
1001  * running with r1 pointing into critical_stack, not the current
1002  * process's kernel stack (and therefore current_thread_info() will
1003  * give the wrong answer).
1004  * We have to restore various SPRs that may have been in use at the
1005  * time of the critical interrupt.
1006  *
1007  */
1008 #ifdef CONFIG_40x
1009 #define PPC_40x_TURN_OFF_MSR_DR                                             \
1010         /* avoid any possible TLB misses here by turning off MSR.DR, we     \
1011          * assume the instructions here are mapped by a pinned TLB entry */ \
1012         li      r10,MSR_IR;                                                 \
1013         mtmsr   r10;                                                        \
1014         isync;                                                              \
1015         tophys(r1, r1);
1016 #else
1017 #define PPC_40x_TURN_OFF_MSR_DR
1018 #endif
1019
1020 #define RET_FROM_EXC_LEVEL(exc_lvl_srr0, exc_lvl_srr1, exc_lvl_rfi)     \
1021         REST_NVGPRS(r1);                                                \
1022         lwz     r3,_MSR(r1);                                            \
1023         andi.   r3,r3,MSR_PR;                                           \
1024         LOAD_MSR_KERNEL(r10,MSR_KERNEL);                                \
1025         bne     user_exc_return;                                        \
1026         lwz     r0,GPR0(r1);                                            \
1027         lwz     r2,GPR2(r1);                                            \
1028         REST_4GPRS(3, r1);                                              \
1029         REST_2GPRS(7, r1);                                              \
1030         lwz     r10,_XER(r1);                                           \
1031         lwz     r11,_CTR(r1);                                           \
1032         mtspr   SPRN_XER,r10;                                           \
1033         mtctr   r11;                                                    \
1034         PPC405_ERR77(0,r1);                                             \
1035         stwcx.  r0,0,r1;                /* to clear the reservation */  \
1036         lwz     r11,_LINK(r1);                                          \
1037         mtlr    r11;                                                    \
1038         lwz     r10,_CCR(r1);                                           \
1039         mtcrf   0xff,r10;                                               \
1040         PPC_40x_TURN_OFF_MSR_DR;                                        \
1041         lwz     r9,_DEAR(r1);                                           \
1042         lwz     r10,_ESR(r1);                                           \
1043         mtspr   SPRN_DEAR,r9;                                           \
1044         mtspr   SPRN_ESR,r10;                                           \
1045         lwz     r11,_NIP(r1);                                           \
1046         lwz     r12,_MSR(r1);                                           \
1047         mtspr   exc_lvl_srr0,r11;                                       \
1048         mtspr   exc_lvl_srr1,r12;                                       \
1049         lwz     r9,GPR9(r1);                                            \
1050         lwz     r12,GPR12(r1);                                          \
1051         lwz     r10,GPR10(r1);                                          \
1052         lwz     r11,GPR11(r1);                                          \
1053         lwz     r1,GPR1(r1);                                            \
1054         PPC405_ERR77_SYNC;                                              \
1055         exc_lvl_rfi;                                                    \
1056         b       .;              /* prevent prefetch past exc_lvl_rfi */
1057
1058 #define RESTORE_xSRR(exc_lvl_srr0, exc_lvl_srr1)                        \
1059         lwz     r9,_##exc_lvl_srr0(r1);                                 \
1060         lwz     r10,_##exc_lvl_srr1(r1);                                \
1061         mtspr   SPRN_##exc_lvl_srr0,r9;                                 \
1062         mtspr   SPRN_##exc_lvl_srr1,r10;
1063
1064 #if defined(CONFIG_PPC_BOOK3E_MMU)
1065 #ifdef CONFIG_PHYS_64BIT
1066 #define RESTORE_MAS7                                                    \
1067         lwz     r11,MAS7(r1);                                           \
1068         mtspr   SPRN_MAS7,r11;
1069 #else
1070 #define RESTORE_MAS7
1071 #endif /* CONFIG_PHYS_64BIT */
1072 #define RESTORE_MMU_REGS                                                \
1073         lwz     r9,MAS0(r1);                                            \
1074         lwz     r10,MAS1(r1);                                           \
1075         lwz     r11,MAS2(r1);                                           \
1076         mtspr   SPRN_MAS0,r9;                                           \
1077         lwz     r9,MAS3(r1);                                            \
1078         mtspr   SPRN_MAS1,r10;                                          \
1079         lwz     r10,MAS6(r1);                                           \
1080         mtspr   SPRN_MAS2,r11;                                          \
1081         mtspr   SPRN_MAS3,r9;                                           \
1082         mtspr   SPRN_MAS6,r10;                                          \
1083         RESTORE_MAS7;
1084 #elif defined(CONFIG_44x)
1085 #define RESTORE_MMU_REGS                                                \
1086         lwz     r9,MMUCR(r1);                                           \
1087         mtspr   SPRN_MMUCR,r9;
1088 #else
1089 #define RESTORE_MMU_REGS
1090 #endif
1091
1092 #ifdef CONFIG_40x
1093         .globl  ret_from_crit_exc
1094 ret_from_crit_exc:
1095         mfspr   r9,SPRN_SPRG_THREAD
1096         lis     r10,saved_ksp_limit@ha;
1097         lwz     r10,saved_ksp_limit@l(r10);
1098         tovirt(r9,r9);
1099         stw     r10,KSP_LIMIT(r9)
1100         lis     r9,crit_srr0@ha;
1101         lwz     r9,crit_srr0@l(r9);
1102         lis     r10,crit_srr1@ha;
1103         lwz     r10,crit_srr1@l(r10);
1104         mtspr   SPRN_SRR0,r9;
1105         mtspr   SPRN_SRR1,r10;
1106         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, PPC_RFCI)
1107 #endif /* CONFIG_40x */
1108
1109 #ifdef CONFIG_BOOKE
1110         .globl  ret_from_crit_exc
1111 ret_from_crit_exc:
1112         mfspr   r9,SPRN_SPRG_THREAD
1113         lwz     r10,SAVED_KSP_LIMIT(r1)
1114         stw     r10,KSP_LIMIT(r9)
1115         RESTORE_xSRR(SRR0,SRR1);
1116         RESTORE_MMU_REGS;
1117         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, PPC_RFCI)
1118
1119         .globl  ret_from_debug_exc
1120 ret_from_debug_exc:
1121         mfspr   r9,SPRN_SPRG_THREAD
1122         lwz     r10,SAVED_KSP_LIMIT(r1)
1123         stw     r10,KSP_LIMIT(r9)
1124         lwz     r9,THREAD_INFO-THREAD(r9)
1125         CURRENT_THREAD_INFO(r10, r1)
1126         lwz     r10,TI_PREEMPT(r10)
1127         stw     r10,TI_PREEMPT(r9)
1128         RESTORE_xSRR(SRR0,SRR1);
1129         RESTORE_xSRR(CSRR0,CSRR1);
1130         RESTORE_MMU_REGS;
1131         RET_FROM_EXC_LEVEL(SPRN_DSRR0, SPRN_DSRR1, PPC_RFDI)
1132
1133         .globl  ret_from_mcheck_exc
1134 ret_from_mcheck_exc:
1135         mfspr   r9,SPRN_SPRG_THREAD
1136         lwz     r10,SAVED_KSP_LIMIT(r1)
1137         stw     r10,KSP_LIMIT(r9)
1138         RESTORE_xSRR(SRR0,SRR1);
1139         RESTORE_xSRR(CSRR0,CSRR1);
1140         RESTORE_xSRR(DSRR0,DSRR1);
1141         RESTORE_MMU_REGS;
1142         RET_FROM_EXC_LEVEL(SPRN_MCSRR0, SPRN_MCSRR1, PPC_RFMCI)
1143 #endif /* CONFIG_BOOKE */
1144
1145 /*
1146  * Load the DBCR0 value for a task that is being ptraced,
1147  * having first saved away the global DBCR0.  Note that r0
1148  * has the dbcr0 value to set upon entry to this.
1149  */
1150 load_dbcr0:
1151         mfmsr   r10             /* first disable debug exceptions */
1152         rlwinm  r10,r10,0,~MSR_DE
1153         mtmsr   r10
1154         isync
1155         mfspr   r10,SPRN_DBCR0
1156         lis     r11,global_dbcr0@ha
1157         addi    r11,r11,global_dbcr0@l
1158 #ifdef CONFIG_SMP
1159         CURRENT_THREAD_INFO(r9, r1)
1160         lwz     r9,TI_CPU(r9)
1161         slwi    r9,r9,3
1162         add     r11,r11,r9
1163 #endif
1164         stw     r10,0(r11)
1165         mtspr   SPRN_DBCR0,r0
1166         lwz     r10,4(r11)
1167         addi    r10,r10,1
1168         stw     r10,4(r11)
1169         li      r11,-1
1170         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
1171         blr
1172
1173         .section .bss
1174         .align  4
1175 global_dbcr0:
1176         .space  8*NR_CPUS
1177         .previous
1178 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
1179
1180 do_work:                        /* r10 contains MSR_KERNEL here */
1181         andi.   r0,r9,_TIF_NEED_RESCHED_MASK
1182         beq     do_user_signal
1183
1184 do_resched:                     /* r10 contains MSR_KERNEL here */
1185         /* Note: We don't need to inform lockdep that we are enabling
1186          * interrupts here. As far as it knows, they are already enabled
1187          */
1188         ori     r10,r10,MSR_EE
1189         SYNC
1190         MTMSRD(r10)             /* hard-enable interrupts */
1191         bl      schedule
1192 recheck:
1193         /* Note: And we don't tell it we are disabling them again
1194          * neither. Those disable/enable cycles used to peek at
1195          * TI_FLAGS aren't advertised.
1196          */
1197         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
1198         SYNC
1199         MTMSRD(r10)             /* disable interrupts */
1200         CURRENT_THREAD_INFO(r9, r1)
1201         lwz     r9,TI_FLAGS(r9)
1202         andi.   r0,r9,_TIF_NEED_RESCHED_MASK
1203         bne-    do_resched
1204         andi.   r0,r9,_TIF_USER_WORK_MASK
1205         beq     restore_user
1206 do_user_signal:                 /* r10 contains MSR_KERNEL here */
1207         ori     r10,r10,MSR_EE
1208         SYNC
1209         MTMSRD(r10)             /* hard-enable interrupts */
1210         /* save r13-r31 in the exception frame, if not already done */
1211         lwz     r3,_TRAP(r1)
1212         andi.   r0,r3,1
1213         beq     2f
1214         SAVE_NVGPRS(r1)
1215         rlwinm  r3,r3,0,0,30
1216         stw     r3,_TRAP(r1)
1217 2:      addi    r3,r1,STACK_FRAME_OVERHEAD
1218         mr      r4,r9
1219         bl      do_notify_resume
1220         REST_NVGPRS(r1)
1221         b       recheck
1222
1223 /*
1224  * We come here when we are at the end of handling an exception
1225  * that occurred at a place where taking an exception will lose
1226  * state information, such as the contents of SRR0 and SRR1.
1227  */
1228 nonrecoverable:
1229         lis     r10,exc_exit_restart_end@ha
1230         addi    r10,r10,exc_exit_restart_end@l
1231         cmplw   r12,r10
1232         bge     3f
1233         lis     r11,exc_exit_restart@ha
1234         addi    r11,r11,exc_exit_restart@l
1235         cmplw   r12,r11
1236         blt     3f
1237         lis     r10,ee_restarts@ha
1238         lwz     r12,ee_restarts@l(r10)
1239         addi    r12,r12,1
1240         stw     r12,ee_restarts@l(r10)
1241         mr      r12,r11         /* restart at exc_exit_restart */
1242         blr
1243 3:      /* OK, we can't recover, kill this process */
1244         /* but the 601 doesn't implement the RI bit, so assume it's OK */
1245 BEGIN_FTR_SECTION
1246         blr
1247 END_FTR_SECTION_IFSET(CPU_FTR_601)
1248         lwz     r3,_TRAP(r1)
1249         andi.   r0,r3,1
1250         beq     4f
1251         SAVE_NVGPRS(r1)
1252         rlwinm  r3,r3,0,0,30
1253         stw     r3,_TRAP(r1)
1254 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
1255         bl      nonrecoverable_exception
1256         /* shouldn't return */
1257         b       4b
1258
1259         .section .bss
1260         .align  2
1261 ee_restarts:
1262         .space  4
1263         .previous
1264
1265 /*
1266  * PROM code for specific machines follows.  Put it
1267  * here so it's easy to add arch-specific sections later.
1268  * -- Cort
1269  */
1270 #ifdef CONFIG_PPC_RTAS
1271 /*
1272  * On CHRP, the Run-Time Abstraction Services (RTAS) have to be
1273  * called with the MMU off.
1274  */
1275 _GLOBAL(enter_rtas)
1276         stwu    r1,-INT_FRAME_SIZE(r1)
1277         mflr    r0
1278         stw     r0,INT_FRAME_SIZE+4(r1)
1279         LOAD_REG_ADDR(r4, rtas)
1280         lis     r6,1f@ha        /* physical return address for rtas */
1281         addi    r6,r6,1f@l
1282         tophys(r6,r6)
1283         tophys(r7,r1)
1284         lwz     r8,RTASENTRY(r4)
1285         lwz     r4,RTASBASE(r4)
1286         mfmsr   r9
1287         stw     r9,8(r1)
1288         LOAD_MSR_KERNEL(r0,MSR_KERNEL)
1289         SYNC                    /* disable interrupts so SRR0/1 */
1290         MTMSRD(r0)              /* don't get trashed */
1291         li      r9,MSR_KERNEL & ~(MSR_IR|MSR_DR)
1292         mtlr    r6
1293         mtspr   SPRN_SPRG_RTAS,r7
1294         mtspr   SPRN_SRR0,r8
1295         mtspr   SPRN_SRR1,r9
1296         RFI
1297 1:      tophys(r9,r1)
1298         lwz     r8,INT_FRAME_SIZE+4(r9) /* get return address */
1299         lwz     r9,8(r9)        /* original msr value */
1300         FIX_SRR1(r9,r0)
1301         addi    r1,r1,INT_FRAME_SIZE
1302         li      r0,0
1303         mtspr   SPRN_SPRG_RTAS,r0
1304         mtspr   SPRN_SRR0,r8
1305         mtspr   SPRN_SRR1,r9
1306         RFI                     /* return to caller */
1307
1308         .globl  machine_check_in_rtas
1309 machine_check_in_rtas:
1310         twi     31,0,0
1311         /* XXX load up BATs and panic */
1312
1313 #endif /* CONFIG_PPC_RTAS */
1314
1315 #ifdef CONFIG_FUNCTION_TRACER
1316 #ifdef CONFIG_DYNAMIC_FTRACE
1317 _GLOBAL(mcount)
1318 _GLOBAL(_mcount)
1319         /*
1320          * It is required that _mcount on PPC32 must preserve the
1321          * link register. But we have r0 to play with. We use r0
1322          * to push the return address back to the caller of mcount
1323          * into the ctr register, restore the link register and
1324          * then jump back using the ctr register.
1325          */
1326         mflr    r0
1327         mtctr   r0
1328         lwz     r0, 4(r1)
1329         mtlr    r0
1330         bctr
1331
1332 _GLOBAL(ftrace_caller)
1333         MCOUNT_SAVE_FRAME
1334         /* r3 ends up with link register */
1335         subi    r3, r3, MCOUNT_INSN_SIZE
1336 .globl ftrace_call
1337 ftrace_call:
1338         bl      ftrace_stub
1339         nop
1340 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
1341 .globl ftrace_graph_call
1342 ftrace_graph_call:
1343         b       ftrace_graph_stub
1344 _GLOBAL(ftrace_graph_stub)
1345 #endif
1346         MCOUNT_RESTORE_FRAME
1347         /* old link register ends up in ctr reg */
1348         bctr
1349 #else
1350 _GLOBAL(mcount)
1351 _GLOBAL(_mcount)
1352
1353         MCOUNT_SAVE_FRAME
1354
1355         subi    r3, r3, MCOUNT_INSN_SIZE
1356         LOAD_REG_ADDR(r5, ftrace_trace_function)
1357         lwz     r5,0(r5)
1358
1359         mtctr   r5
1360         bctrl
1361         nop
1362
1363 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
1364         b       ftrace_graph_caller
1365 #endif
1366         MCOUNT_RESTORE_FRAME
1367         bctr
1368 #endif
1369 EXPORT_SYMBOL(_mcount)
1370
1371 _GLOBAL(ftrace_stub)
1372         blr
1373
1374 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
1375 _GLOBAL(ftrace_graph_caller)
1376         /* load r4 with local address */
1377         lwz     r4, 44(r1)
1378         subi    r4, r4, MCOUNT_INSN_SIZE
1379
1380         /* Grab the LR out of the caller stack frame */
1381         lwz     r3,52(r1)
1382
1383         bl      prepare_ftrace_return
1384         nop
1385
1386         /*
1387          * prepare_ftrace_return gives us the address we divert to.
1388          * Change the LR in the callers stack frame to this.
1389          */
1390         stw     r3,52(r1)
1391
1392         MCOUNT_RESTORE_FRAME
1393         /* old link register ends up in ctr reg */
1394         bctr
1395
1396 _GLOBAL(return_to_handler)
1397         /* need to save return values */
1398         stwu    r1, -32(r1)
1399         stw     r3, 20(r1)
1400         stw     r4, 16(r1)
1401         stw     r31, 12(r1)
1402         mr      r31, r1
1403
1404         bl      ftrace_return_to_handler
1405         nop
1406
1407         /* return value has real return address */
1408         mtlr    r3
1409
1410         lwz     r3, 20(r1)
1411         lwz     r4, 16(r1)
1412         lwz     r31,12(r1)
1413         lwz     r1, 0(r1)
1414
1415         /* Jump back to real return address */
1416         blr
1417 #endif /* CONFIG_FUNCTION_GRAPH_TRACER */
1418
1419 #endif /* CONFIG_FUNCTION_TRACER */