kernel/fiasco/src/kern/task.cpp

   1 INTERFACE:
   2
   3 #include "context.h"
   4 #include "kobject.h"
   5 #include "l4_types.h"
   6 #include "rcupdate.h"
   7 #include "space.h"
   8 #include "spin_lock.h"
   9
  10 class slab_cache_anon;
  11
  12 /**
  13  * \brief A task is a protection domain.
  14  *
  15  * A is derived from Space, which aggregates a set of address spaces.
  16  * Additionally to a space, a task provides initialization and
  17  * destruction functionality for a protection domain.
  18  * Task is also derived from Rcu_item to provide RCU shutdown of tasks.
  19  */
  20 class Task :
  21   public Kobject,
  22   public Space
  23 {
  24   FIASCO_DECLARE_KOBJ();
  25
  26   friend class Jdb_space;
  27
  28 private:
  29   /// \brief Do host (platform) specific initialization.
  30   void host_init();
  31
  32   /// \brief Map the trace buffer to the user address space.
  33   void map_tbuf();
  34
  35 public:
  36   enum Operation
  37   {
  38     Map         = 0,
  39     Unmap       = 1,
  40     Cap_info    = 2,
  41     Add_ku_mem  = 3,
  42     Ldt_set_x86 = 0x11,
  43     Vm_ops      = 0x20,
  44   };
  45
  46 private:
  47   /// map the global utcb pointer page into this task
  48   void map_utcb_ptr_page();
  49 };
  50
  51
  52 //---------------------------------------------------------------------------
  53 IMPLEMENTATION:
  54
  55 #include "atomic.h"
  56 #include "auto_ptr.h"
  57 #include "config.h"
  58 #include "entry_frame.h"
  59 #include "globals.h"
  60 #include "kdb_ke.h"
  61 #include "kmem.h"
  62 #include "kmem_slab_simple.h"
  63 #include "l4_types.h"
  64 #include "l4_buf_iter.h"
  65 #include "logdefs.h"
  66 #include "map_util.h"
  67 #include "mem_layout.h"
  68 #include "ram_quota.h"
  69 #include "paging.h"
  70 #include "vmem_alloc.h"
  71
  72 FIASCO_DEFINE_KOBJ(Task);
  73
  74 static Kmem_slab_t<Task::Ku_mem> _k_u_mem_list_alloc("Ku_mem");
  75 slab_cache_anon *Space::Ku_mem::a = &_k_u_mem_list_alloc;
  76
  77 extern "C" void vcpu_resume(Trap_state *, Return_frame *sp)
  78    FIASCO_FASTCALL FIASCO_NORETURN;
  79
  80 PUBLIC virtual
  81 int
  82 Task::resume_vcpu(Context *ctxt, Vcpu_state *vcpu, bool user_mode)
  83 {
  84   Trap_state ts;
  85   memcpy(&ts, &vcpu->_ts, sizeof(Trap_state));
  86
  87   assert_kdb(cpu_lock.test());
  88
  89   ts.sanitize_user_state();
  90
  91   // FIXME: UX is currently broken
  92   /* UX:ctxt->vcpu_resume_user_arch(); */
  93   if (user_mode)
  94     vcpu->state |= Vcpu_state::F_traps | Vcpu_state::F_exceptions
  95                    | Vcpu_state::F_debug_exc;
  96
  97   ctxt->space_ref()->user_mode(user_mode);
  98   switchin_context(ctxt->space());
  99   vcpu_resume(&ts, ctxt->regs());
 100 }
 101
 102 PUBLIC virtual
 103 bool
 104 Task::put()
 105 { return dec_ref() == 0; }
 106
 107 PRIVATE
 108 int
 109 Task::alloc_ku_mem_chunk(User<void>::Ptr u_addr, unsigned size, void **k_addr)
 110 {
 111   assert_kdb ((size & (size - 1)) == 0);
 112
 113   Mapped_allocator *const alloc = Mapped_allocator::allocator();
 114   void *p = alloc->q_unaligned_alloc(ram_quota(), size);
 115
 116   if (EXPECT_FALSE(!p))
 117     return -L4_err::ENomem;
 118
 119   // clean up utcbs
 120   memset(p, 0, size);
 121
 122   unsigned long page_size = Config::PAGE_SIZE;
 123
 124   // the following works because the size is a power of two
 125   // and once we have size larger than a super page we have
 126   // always multiples of superpages
 127   if (size >= Config::SUPERPAGE_SIZE)
 128     page_size = Config::SUPERPAGE_SIZE;
 129
 130   for (unsigned long i = 0; i < size; i += page_size)
 131     {
 132       Address kern_va = (Address)p + i;
 133       Address user_va = (Address)u_addr.get() + i;
 134       Address pa = mem_space()->pmem_to_phys(kern_va);
 135
 136       // must be valid physical address
 137       assert(pa != ~0UL);
 138
 139       Mem_space::Status res =
 140         mem_space()->v_insert(Mem_space::Phys_addr(pa),
 141             Mem_space::Addr(user_va), Mem_space::Size(page_size),
 142             Mem_space::Page_writable | Mem_space::Page_user_accessible
 143             | Mem_space::Page_cacheable);
 144
 145       switch (res)
 146         {
 147         case Mem_space::Insert_ok: break;
 148         case Mem_space::Insert_err_nomem:
 149           free_ku_mem_chunk(p, u_addr, size);
 150           return -L4_err::ENomem;
 151
 152         case Mem_space::Insert_err_exists:
 153           free_ku_mem_chunk(p, u_addr, size);
 154           return -L4_err::EExists;
 155
 156         default:
 157           printf("UTCB mapping failed: va=%p, ph=%p, res=%d\n",
 158               (void*)user_va, (void*)kern_va, res);
 159           kdb_ke("BUG in utcb allocation");
 160           free_ku_mem_chunk(p, u_addr, size);
 161           return 0;
 162         }
 163     }
 164
 165   *k_addr = p;
 166   return 0;
 167 }
 168
 169
 170 PRIVATE
 171 int
 172 Task::alloc_ku_mem(L4_fpage ku_area)
 173 {
 174   if (ku_area.order() < Config::PAGE_SHIFT || ku_area.order() > 20)
 175     return -L4_err::EInval;
 176
 177   Mword sz = 1UL << ku_area.order();
 178
 179   Ku_mem *m = new (ram_quota()) Ku_mem();
 180
 181   if (!m)
 182     return -L4_err::ENomem;
 183
 184   User<void>::Ptr u_addr((void*)Virt_addr(ku_area.mem_address()).value());
 185
 186   void *p;
 187   if (int e = alloc_ku_mem_chunk(u_addr, sz, &p))
 188     {
 189       m->free(ram_quota());
 190       return e;
 191     }
 192
 193   m->u_addr = u_addr;
 194   m->k_addr = p;
 195   m->size = sz;
 196
 197   // safely add the new Ku_mem object to the list
 198   do
 199     {
 200       m->next = _ku_mem;
 201     }
 202   while (!mp_cas(&_ku_mem, m->next, m));
 203
 204   return 0;
 205 }
 206
 207 PRIVATE inline NOEXPORT
 208 void
 209 Task::free_ku_mem(Ku_mem *m)
 210 {
 211   free_ku_mem_chunk(m->k_addr, m->u_addr, m->size);
 212   m->free(ram_quota());
 213 }
 214
 215 PRIVATE
 216 void
 217 Task::free_ku_mem_chunk(void *k_addr, User<void>::Ptr u_addr, unsigned size)
 218 {
 219
 220   Mapped_allocator * const alloc = Mapped_allocator::allocator();
 221   unsigned long page_size = Config::PAGE_SIZE;
 222
 223   // the following works because the size is a poer of two
 224   // and once we have size larger than a super page we have
 225   // always multiples of superpages
 226   if (size >= Config::SUPERPAGE_SIZE)
 227     page_size = Config::SUPERPAGE_SIZE;
 228
 229   for (unsigned long i = 0; i < size; i += page_size)
 230     {
 231       Address user_va = (Address)u_addr.get() + i;
 232       mem_space()->v_delete(Mem_space::Addr(user_va),
 233                             Mem_space::Size(page_size));
 234     }
 235
 236   alloc->q_unaligned_free(ram_quota(), size, k_addr);
 237 }
 238
 239 PRIVATE
 240 void
 241 Task::free_ku_mem()
 242 {
 243   Ku_mem *m = _ku_mem;
 244   _ku_mem = 0;
 245
 246   while (m)
 247     {
 248       Ku_mem *d = m;
 249       m = m->next;
 250
 251       free_ku_mem(d);
 252     }
 253 }
 254
 255
 256 /** Allocate space for the UTCBs of all threads in this task.
 257  *  @ return true on success, false if not enough memory for the UTCBs
 258  */
 259 PUBLIC
 260 bool
 261 Task::initialize()
 262 {
 263   // For UX, map the UTCB pointer page. For ia32, do nothing
 264   map_utcb_ptr_page();
 265
 266   return true;
 267 }
 268
 269 /**
 270  * \brief Create a normal Task.
 271  * \pre \a parent must be valid and exist.
 272  */
 273 PUBLIC
 274 template< typename SPACE_FACTORY >
 275 Task::Task(SPACE_FACTORY const &sf, Ram_quota *q)
 276   : Space(sf, q)
 277 {
 278   host_init();
 279
 280   // increment reference counter from zero
 281   inc_ref(true);
 282
 283   if (mem_space()->is_sigma0())
 284     map_tbuf();
 285 }
 286
 287 PROTECTED template<typename SPACE_FACTORY>
 288 Task::Task(SPACE_FACTORY const &sf, Ram_quota *q, Mem_space::Dir_type* pdir)
 289   : Space(sf, q, pdir)
 290 {
 291   // increment reference counter from zero
 292   inc_ref(true);
 293 }
 294
 295 // The allocator for tasks
 296 static Kmem_slab_t<Task> _task_allocator("Task");
 297
 298 PROTECTED static
 299 slab_cache_anon*
 300 Task::allocator()
 301 { return &_task_allocator; }
 302
 303
 304 PROTECTED inline NEEDS["kmem_slab_simple.h"]
 305 void *
 306 Task::operator new (size_t size, void *p)
 307 {
 308   (void)size;
 309   assert (size == sizeof (Task));
 310   return p;
 311 }
 312
 313
 314 PUBLIC //inline NEEDS["kmem_slab_simple.h"]
 315 void
 316 Task::operator delete (void *ptr)
 317 {
 318   Task *t = reinterpret_cast<Task*>(ptr);
 319   LOG_TRACE("Kobject delete", "del", current(), __fmt_kobj_destroy,
 320             Log_destroy *l = tbe->payload<Log_destroy>();
 321             l->id = t->dbg_id();
 322             l->obj = t;
 323             l->type = "Task";
 324             l->ram = t->ram_quota()->current());
 325
 326   allocator()->q_free(t->ram_quota(), ptr);
 327 }
 328
 329
 330 PUBLIC template< typename SPACE_FACTORY >
 331 static
 332 Task *
 333 Task::create(SPACE_FACTORY const &sf, Ram_quota *quota,
 334              L4_fpage const &utcb_area)
 335 {
 336   void *t = allocator()->q_alloc(quota);
 337   if (!t)
 338     return 0;
 339
 340   auto_ptr<Task> a(new (t) Task(sf, quota));
 341   if (!a->valid())
 342     return 0;
 343
 344   if (utcb_area.is_valid())
 345     {
 346       int e = a->alloc_ku_mem(utcb_area);
 347       if (e < 0)
 348         return 0;
 349     }
 350
 351   return a.release();
 352 }
 353
 354 PUBLIC inline
 355 bool
 356 Task::valid() const
 357 { return mem_space()->valid(); }
 358
 359
 360 /**
 361  * \brief Shutdown the task.
 362  *
 363  * Currently:
 364  * -# Unbind and delete all contexts bound to this task.
 365  * -# Unmap everything from all spaces.
 366  * -# Delete child tasks.
 367  */
 368 PUBLIC
 369 void
 370 Task::destroy(Kobject ***reap_list)
 371 {
 372   Kobject::destroy(reap_list);
 373
 374   fpage_unmap(this, L4_fpage::all_spaces(L4_fpage::RWX), L4_map_mask::full(), reap_list);
 375 }
 376
 377 PRIVATE inline NOEXPORT
 378 L4_msg_tag
 379 Task::sys_map(unsigned char rights, Syscall_frame *f, Utcb *utcb)
 380 {
 381   LOG_TRACE("Task map", "map", ::current(), __task_unmap_fmt,
 382       Log_unmap *lu = tbe->payload<Log_unmap>();
 383       lu->id = dbg_id();
 384       lu->mask  = utcb->values[1];
 385       lu->fpage = utcb->values[2]);
 386
 387   if (EXPECT_FALSE(!(rights & L4_fpage::W)))
 388     return commit_result(-L4_err::EPerm);
 389
 390   L4_msg_tag const tag = f->tag();
 391
 392   Obj_space *s = current()->space()->obj_space();
 393   L4_snd_item_iter snd_items(utcb, tag.words());
 394
 395   if (EXPECT_FALSE(!tag.items() || !snd_items.next()))
 396     return commit_result(-L4_err::EInval);
 397
 398   L4_fpage src_task(snd_items.get()->d);
 399   if (EXPECT_FALSE(!src_task.is_objpage()))
 400     return commit_result(-L4_err::EInval);
 401
 402   Task *from = Kobject::dcast<Task*>(s->lookup_local(src_task.obj_index()));
 403   if (!from)
 404     return commit_result(-L4_err::EInval);
 405
 406   Reap_list rl;
 407   L4_error ret;
 408
 409     {
 410       // enforce lock order to prevent deadlocks.
 411       // always take lock from task with the lower memory address first
 412       Lock_guard_2<Lock> guard;
 413
 414       // FIXME: avoid locking the current task, it is not needed
 415       if (!guard.lock(&existence_lock, &from->existence_lock))
 416         return commit_result(-L4_err::EInval);
 417
 418       cpu_lock.clear();
 419
 420       ret = fpage_map(from, L4_fpage(utcb->values[2]), this,
 421                       L4_fpage::all_spaces(), utcb->values[1], &rl);
 422       cpu_lock.lock();
 423     }
 424
 425   cpu_lock.clear();
 426   rl.del();
 427   cpu_lock.lock();
 428
 429   // FIXME: treat reaped stuff
 430   if (ret.ok())
 431     return commit_result(0);
 432   else
 433     return commit_error(utcb, ret);
 434 }
 435
 436
 437 PRIVATE inline NOEXPORT
 438 L4_msg_tag
 439 Task::sys_unmap(Syscall_frame *f, Utcb *utcb)
 440 {
 441   Reap_list rl;
 442   unsigned words = f->tag().words();
 443
 444   LOG_TRACE("Task unmap", "unm", ::current(), __task_unmap_fmt,
 445             Log_unmap *lu = tbe->payload<Log_unmap>();
 446             lu->id = dbg_id();
 447             lu->mask  = utcb->values[1];
 448             lu->fpage = utcb->values[2]);
 449
 450     {
 451       Lock_guard<Lock> guard;
 452
 453       // FIXME: avoid locking the current task, it is not needed
 454       if (!guard.try_lock(&existence_lock))
 455         return commit_error(utcb, L4_error::Not_existent);
 456
 457       cpu_lock.clear();
 458
 459       L4_map_mask m(utcb->values[1]);
 460
 461       for (unsigned i = 2; i < words; ++i)
 462         {
 463           unsigned const flushed = fpage_unmap(this, L4_fpage(utcb->values[i]), m, rl.list());
 464           utcb->values[i] = (utcb->values[i] & ~0xfUL) | flushed;
 465         }
 466       cpu_lock.lock();
 467     }
 468
 469   cpu_lock.clear();
 470   rl.del();
 471   cpu_lock.lock();
 472
 473   return commit_result(0, words);
 474 }
 475
 476 PRIVATE inline NOEXPORT
 477 L4_msg_tag
 478 Task::sys_cap_valid(Syscall_frame *, Utcb *utcb)
 479 {
 480   L4_obj_ref obj(utcb->values[1]);
 481
 482   if (obj.invalid())
 483     return commit_result(0);
 484
 485   Obj_space::Capability cap = obj_space()->lookup(obj.cap());
 486   if (EXPECT_TRUE(cap.valid()))
 487     {
 488       if (!(utcb->values[1] & 1))
 489         return commit_result(1);
 490       else
 491         return commit_result(cap.obj()->map_root()->cap_ref_cnt());
 492     }
 493   else
 494     return commit_result(0);
 495 }
 496
 497 PRIVATE inline NOEXPORT
 498 L4_msg_tag
 499 Task::sys_caps_equal(Syscall_frame *, Utcb *utcb)
 500 {
 501   L4_obj_ref obj_a(utcb->values[1]);
 502   L4_obj_ref obj_b(utcb->values[2]);
 503
 504   if (obj_a == obj_b)
 505     return commit_result(1);
 506
 507   if (obj_a.invalid() || obj_b.invalid())
 508     return commit_result(obj_a.invalid() && obj_b.invalid());
 509
 510   Obj_space::Capability c_a = obj_space()->lookup(obj_a.cap());
 511   Obj_space::Capability c_b = obj_space()->lookup(obj_b.cap());
 512
 513   return commit_result(c_a == c_b);
 514 }
 515
 516 PRIVATE inline NOEXPORT
 517 L4_msg_tag
 518 Task::sys_add_ku_mem(Syscall_frame *f, Utcb *utcb)
 519 {
 520   unsigned const w = f->tag().words();
 521   for (unsigned i = 1; i < w; ++i)
 522     {
 523       L4_fpage ku_fp(utcb->values[i]);
 524       if (!ku_fp.is_valid() || !ku_fp.is_mempage())
 525         return commit_result(-L4_err::EInval);
 526
 527       int e = alloc_ku_mem(ku_fp);
 528       if (e < 0)
 529         return commit_result(e);
 530     }
 531
 532   return commit_result(0);
 533 }
 534
 535 PRIVATE inline NOEXPORT
 536 L4_msg_tag
 537 Task::sys_cap_info(Syscall_frame *f, Utcb *utcb)
 538 {
 539   L4_msg_tag const &tag = f->tag();
 540
 541   switch (tag.words())
 542     {
 543     default: return commit_result(-L4_err::EInval);
 544     case 2:  return sys_cap_valid(f, utcb);
 545     case 3:  return sys_caps_equal(f, utcb);
 546     }
 547 }
 548
 549
 550 PUBLIC
 551 void
 552 Task::invoke(L4_obj_ref, Mword rights, Syscall_frame *f, Utcb *utcb)
 553 {
 554   if (EXPECT_FALSE(f->tag().proto() != L4_msg_tag::Label_task))
 555     {
 556       f->tag(commit_result(-L4_err::EBadproto));
 557       return;
 558     }
 559
 560   switch (utcb->values[0])
 561     {
 562     case Map:
 563       f->tag(sys_map(rights, f, utcb));
 564       return;
 565     case Unmap:
 566       f->tag(sys_unmap(f, utcb));
 567       return;
 568     case Cap_info:
 569       f->tag(sys_cap_info(f, utcb));
 570       return;
 571     case Add_ku_mem:
 572       f->tag(sys_add_ku_mem(f, utcb));
 573       return;
 574     default:
 575       L4_msg_tag tag = f->tag();
 576       if (invoke_arch(tag, utcb))
 577         f->tag(tag);
 578       else
 579         f->tag(commit_result(-L4_err::ENosys));
 580       return;
 581     }
 582 }
 583
 584
 585 //---------------------------------------------------------------------------
 586 IMPLEMENTATION [!ux]:
 587
 588 IMPLEMENT inline
 589 void
 590 Task::map_utcb_ptr_page()
 591 {}
 592
 593 IMPLEMENT inline
 594 void
 595 Task::host_init()
 596 {}
 597
 598 IMPLEMENT inline
 599 void
 600 Task::map_tbuf()
 601 {}
 602
 603 PUBLIC inline
 604 Task::~Task()
 605 { free_ku_mem(); }
 606
 607
 608 // ---------------------------------------------------------------------------
 609 INTERFACE [debug]:
 610
 611 EXTENSION class Task
 612 {
 613 private:
 614   struct Log_unmap
 615   {
 616     Mword id;
 617     Mword mask;
 618     Mword fpage;
 619   } __attribute__((packed));
 620
 621   static unsigned unmap_fmt(Tb_entry *, int max, char *buf) asm ("__task_unmap_fmt");
 622 };
 623
 624 // ---------------------------------------------------------------------------
 625 IMPLEMENTATION [debug]:
 626
 627 IMPLEMENT
 628 unsigned
 629 Task::unmap_fmt(Tb_entry *e, int max, char *buf)
 630 {
 631   Log_unmap *l = e->payload<Log_unmap>();
 632   L4_fpage fp(l->fpage);
 633   return snprintf(buf, max, "task=[U:%lx] mask=%lx fpage=[%u/%u]%lx",
 634                   l->id, l->mask, (unsigned)fp.order(), fp.type(), l->fpage);
 635 }
 636
 637 // ---------------------------------------------------------------------------
 638 IMPLEMENTATION[!ia32 || !svm]:
 639
 640 PRIVATE inline NOEXPORT
 641 L4_msg_tag
 642 Task::sys_vm_run(Syscall_frame *, Utcb *)
 643 {
 644   return commit_result(-L4_err::ENosys);
 645 }
 646