kernel/fiasco/src/kern/task.cpp

   1 INTERFACE:
   2
   3 #include "context.h"
   4 #include "kobject.h"
   5 #include "l4_types.h"
   6 #include "rcupdate.h"
   7 #include "space.h"
   8 #include "spin_lock.h"
   9
  10 class slab_cache_anon;
  11
  12 /**
  13  * \brief A task is a protection domain.
  14  *
  15  * A is derived from Space, which aggregates a set of address spaces.
  16  * Additionally to a space, a task provides initialization and
  17  * destruction functionality for a protection domain.
  18  * Task is also derived from Rcu_item to provide RCU shutdown of tasks.
  19  */
  20 class Task :
  21   public Kobject,
  22   public Space
  23 {
  24   FIASCO_DECLARE_KOBJ();
  25
  26   friend class Jdb_space;
  27
  28 private:
  29   /// \brief Do host (platform) specific initialization.
  30   void host_init();
  31
  32   /// \brief Map the trace buffer to the user address space.
  33   void map_tbuf();
  34
  35 public:
  36   enum Operation
  37   {
  38     Map         = 0,
  39     Unmap       = 1,
  40     Cap_info    = 2,
  41     Add_ku_mem  = 3,
  42     Ldt_set_x86 = 0x11,
  43     Vm_ops      = 0x20,
  44   };
  45
  46 private:
  47   /// map the global utcb pointer page into this task
  48   void map_utcb_ptr_page();
  49 };
  50
  51
  52 //---------------------------------------------------------------------------
  53 IMPLEMENTATION:
  54
  55 #include "atomic.h"
  56 #include "auto_ptr.h"
  57 #include "config.h"
  58 #include "entry_frame.h"
  59 #include "globals.h"
  60 #include "kdb_ke.h"
  61 #include "kmem.h"
  62 #include "kmem_slab_simple.h"
  63 #include "l4_types.h"
  64 #include "l4_buf_iter.h"
  65 #include "logdefs.h"
  66 #include "map_util.h"
  67 #include "mem_layout.h"
  68 #include "ram_quota.h"
  69 #include "paging.h"
  70 #include "vmem_alloc.h"
  71
  72 FIASCO_DEFINE_KOBJ(Task);
  73
  74 static Kmem_slab_t<Task::Ku_mem> _k_u_mem_list_alloc("Ku_mem");
  75 slab_cache_anon *Space::Ku_mem::a = &_k_u_mem_list_alloc;
  76
  77 extern "C" void vcpu_resume(Trap_state *, Return_frame *sp)
  78    FIASCO_FASTCALL FIASCO_NORETURN;
  79
  80 PUBLIC virtual
  81 int
  82 Task::resume_vcpu(Context *ctxt, Vcpu_state *vcpu, bool user_mode)
  83 {
  84   Trap_state ts;
  85   memcpy(&ts, &vcpu->_ts, sizeof(Trap_state));
  86
  87   assert_kdb(cpu_lock.test());
  88
  89   ts.sanitize_user_state();
  90
  91   // FIXME: UX is currently broken
  92   /* UX:ctxt->vcpu_resume_user_arch(); */
  93   if (user_mode)
  94     vcpu->state |= Vcpu_state::F_traps | Vcpu_state::F_exceptions
  95                    | Vcpu_state::F_debug_exc;
  96
  97   ctxt->space_ref()->user_mode(user_mode);
  98   switchin_context(ctxt->space());
  99   vcpu_resume(&ts, ctxt->regs());
 100 }
 101
 102 PUBLIC virtual
 103 bool
 104 Task::put()
 105 { return dec_ref() == 0; }
 106
 107 PRIVATE
 108 int
 109 Task::alloc_ku_mem_chunk(User<void>::Ptr u_addr, unsigned size, void **k_addr)
 110 {
 111   assert_kdb ((size & (size - 1)) == 0);
 112
 113   Mapped_allocator *const alloc = Mapped_allocator::allocator();
 114   void *p = alloc->q_unaligned_alloc(ram_quota(), size);
 115
 116   if (EXPECT_FALSE(!p))
 117     return -L4_err::ENomem;
 118
 119   // clean up utcbs
 120   memset(p, 0, size);
 121
 122   unsigned long page_size = Config::PAGE_SIZE;
 123
 124   // the following works because the size is a power of two
 125   // and once we have size larger than a super page we have
 126   // always multiples of superpages
 127   if (size >= Config::SUPERPAGE_SIZE)
 128     page_size = Config::SUPERPAGE_SIZE;
 129
 130   for (unsigned long i = 0; i < size; i += page_size)
 131     {
 132       Address kern_va = (Address)p + i;
 133       Address user_va = (Address)u_addr.get() + i;
 134       Address pa = mem_space()->pmem_to_phys(kern_va);
 135
 136       // must be valid physical address
 137       assert(pa != ~0UL);
 138
 139       Mem_space::Status res =
 140         mem_space()->v_insert(Mem_space::Phys_addr(pa),
 141             Mem_space::Addr(user_va), Mem_space::Size(page_size),
 142             Mem_space::Page_writable | Mem_space::Page_user_accessible
 143             | Mem_space::Page_cacheable);
 144
 145       switch (res)
 146         {
 147         case Mem_space::Insert_ok: break;
 148         case Mem_space::Insert_err_nomem:
 149           free_ku_mem_chunk(p, u_addr, size);
 150           return -L4_err::ENomem;
 151
 152         case Mem_space::Insert_err_exists:
 153           free_ku_mem_chunk(p, u_addr, size);
 154           return -L4_err::EExists;
 155
 156         default:
 157           printf("UTCB mapping failed: va=%p, ph=%p, res=%d\n",
 158               (void*)user_va, (void*)kern_va, res);
 159           kdb_ke("BUG in utcb allocation");
 160           free_ku_mem_chunk(p, u_addr, size);
 161           return 0;
 162         }
 163     }
 164
 165   *k_addr = p;
 166   return 0;
 167 }
 168
 169
 170 PRIVATE
 171 int
 172 Task::alloc_ku_mem(L4_fpage ku_area)
 173 {
 174   if (ku_area.order() < Config::PAGE_SHIFT || ku_area.order() > 20)
 175     return -L4_err::EInval;
 176
 177   Mword sz = 1UL << ku_area.order();
 178
 179   Ku_mem *m = new (ram_quota()) Ku_mem();
 180
 181   if (!m)
 182     return -L4_err::ENomem;
 183
 184   User<void>::Ptr u_addr((void*)Virt_addr(ku_area.mem_address()).value());
 185
 186   void *p;
 187   if (int e = alloc_ku_mem_chunk(u_addr, sz, &p))
 188     {
 189       m->free(ram_quota());
 190       return e;
 191     }
 192
 193   m->u_addr = u_addr;
 194   m->k_addr = p;
 195   m->size = sz;
 196
 197   // safely add the new Ku_mem object to the list
 198   do
 199     {
 200       m->next = _ku_mem;
 201     }
 202   while (!mp_cas(&_ku_mem, m->next, m));
 203
 204   return 0;
 205 }
 206
 207 PRIVATE inline NOEXPORT
 208 void
 209 Task::free_ku_mem(Ku_mem *m)
 210 {
 211   free_ku_mem_chunk(m->k_addr, m->u_addr, m->size);
 212   m->free(ram_quota());
 213 }
 214
 215 PRIVATE
 216 void
 217 Task::free_ku_mem_chunk(void *k_addr, User<void>::Ptr u_addr, unsigned size)
 218 {
 219
 220   Mapped_allocator * const alloc = Mapped_allocator::allocator();
 221   unsigned long page_size = Config::PAGE_SIZE;
 222
 223   // the following works because the size is a poer of two
 224   // and once we have size larger than a super page we have
 225   // always multiples of superpages
 226   if (size >= Config::SUPERPAGE_SIZE)
 227     page_size = Config::SUPERPAGE_SIZE;
 228
 229   for (unsigned long i = 0; i < size; i += page_size)
 230     {
 231       Address user_va = (Address)u_addr.get() + i;
 232       mem_space()->v_delete(Mem_space::Addr(user_va),
 233                             Mem_space::Size(page_size));
 234     }
 235
 236   alloc->q_unaligned_free(ram_quota(), size, k_addr);
 237 }
 238
 239 PRIVATE
 240 void
 241 Task::free_ku_mem()
 242 {
 243   Ku_mem *m = _ku_mem;
 244   _ku_mem = 0;
 245
 246   while (m)
 247     {
 248       Ku_mem *d = m;
 249       m = m->next;
 250
 251       free_ku_mem(d);
 252     }
 253 }
 254
 255
 256 /** Allocate space for the UTCBs of all threads in this task.
 257  *  @ return true on success, false if not enough memory for the UTCBs
 258  */
 259 PUBLIC
 260 bool
 261 Task::initialize()
 262 {
 263   // For UX, map the UTCB pointer page. For ia32, do nothing
 264   map_utcb_ptr_page();
 265
 266   return true;
 267 }
 268
 269 /**
 270  * \brief Create a normal Task.
 271  * \pre \a parent must be valid and exist.
 272  */
 273 PUBLIC
 274 template< typename SPACE_FACTORY >
 275 Task::Task(SPACE_FACTORY const &sf, Ram_quota *q)
 276   : Space(sf, q)
 277 {
 278   host_init();
 279
 280   // increment reference counter from zero
 281   inc_ref(true);
 282
 283   if (mem_space()->is_sigma0())
 284     map_tbuf();
 285 }
 286
 287 PROTECTED template<typename SPACE_FACTORY>
 288 Task::Task(SPACE_FACTORY const &sf, Ram_quota *q, Mem_space::Dir_type* pdir)
 289   : Space(sf, q, pdir)
 290 {
 291   // increment reference counter from zero
 292   inc_ref(true);
 293 }
 294
 295 // The allocator for tasks
 296 static Kmem_slab_t<Task> _task_allocator("Task");
 297
 298 PROTECTED static
 299 slab_cache_anon*
 300 Task::allocator()
 301 { return &_task_allocator; }
 302
 303
 304 PROTECTED inline NEEDS["kmem_slab_simple.h"]
 305 void *
 306 Task::operator new (size_t size, void *p)
 307 {
 308   (void)size;
 309   assert (size == sizeof (Task));
 310   return p;
 311 }
 312
 313
 314 PUBLIC //inline NEEDS["kmem_slab_simple.h"]
 315 void
 316 Task::operator delete (void *ptr)
 317 {
 318   Task *t = reinterpret_cast<Task*>(ptr);
 319   LOG_TRACE("Kobject delete", "del", current(), __fmt_kobj_destroy,
 320             Log_destroy *l = tbe->payload<Log_destroy>();
 321             l->id = t->dbg_id();
 322             l->obj = t;
 323             l->type = "Task";
 324             l->ram = t->ram_quota()->current());
 325
 326   allocator()->q_free(t->ram_quota(), ptr);
 327 }
 328
 329
 330 PUBLIC template< typename SPACE_FACTORY >
 331 static
 332 Task *
 333 Task::create(SPACE_FACTORY const &sf, Ram_quota *quota,
 334              L4_fpage const &utcb_area)
 335 {
 336   void *t = allocator()->q_alloc(quota);
 337   if (!t)
 338     return 0;
 339
 340   auto_ptr<Task> a(new (t) Task(sf, quota));
 341   if (!a->valid())
 342     return 0;
 343
 344   if (utcb_area.is_valid())
 345     {
 346       int e = a->alloc_ku_mem(utcb_area);
 347       if (e < 0)
 348         return 0;
 349     }
 350
 351   return a.release();
 352 }
 353
 354 PUBLIC inline
 355 bool
 356 Task::valid() const
 357 { return mem_space()->valid(); }
 358
 359
 360 /**
 361  * \brief Shutdown the task.
 362  *
 363  * Currently:
 364  * -# Unbind and delete all contexts bound to this task.
 365  * -# Unmap everything from all spaces.
 366  * -# Delete child tasks.
 367  */
 368 PUBLIC
 369 void
 370 Task::destroy(Kobject ***reap_list)
 371 {
 372   Kobject::destroy(reap_list);
 373
 374   fpage_unmap(this, L4_fpage::all_spaces(L4_fpage::RWX), L4_map_mask::full(), reap_list);
 375 }
 376
 377 PRIVATE inline NOEXPORT
 378 L4_msg_tag
 379 Task::sys_map(unsigned char rights, Syscall_frame *f, Utcb *utcb)
 380 {
 381   LOG_TRACE("Task map", "map", ::current(), __task_unmap_fmt,
 382       Log_unmap *lu = tbe->payload<Log_unmap>();
 383       lu->id = dbg_id();
 384       lu->mask  = utcb->values[1];
 385       lu->fpage = utcb->values[2]);
 386
 387   if (EXPECT_FALSE(!(rights & L4_fpage::W)))
 388     return commit_result(-L4_err::EPerm);
 389
 390   L4_msg_tag const tag = f->tag();
 391
 392   Obj_space *s = current()->space()->obj_space();
 393   L4_snd_item_iter snd_items(utcb, tag.words());
 394
 395   if (EXPECT_FALSE(!tag.items() || !snd_items.next()))
 396     return commit_result(-L4_err::EInval);
 397
 398   L4_fpage src_task(snd_items.get()->d);
 399   if (EXPECT_FALSE(!src_task.is_objpage()))
 400     return commit_result(-L4_err::EInval);
 401
 402   Task *from = Kobject::dcast<Task*>(s->lookup_local(src_task.obj_index()));
 403   if (!from)
 404     return commit_result(-L4_err::EInval);
 405
 406   // enforce lock order to prevent deadlocks.
 407   // always take lock from task with the lower memory address first
 408   Lock_guard_2<Lock> guard;
 409
 410   if (!guard.lock(&existence_lock, &from->existence_lock))
 411     return commit_result(-L4_err::EInval);
 412
 413   cpu_lock.clear();
 414
 415   Reap_list rl;
 416
 417   L4_error ret = fpage_map(from, L4_fpage(utcb->values[2]), this, L4_fpage::all_spaces(), utcb->values[1], &rl);
 418
 419   rl.del();
 420
 421   cpu_lock.lock();
 422   // FIXME: treat reaped stuff
 423   if (ret.ok())
 424     return commit_result(0);
 425   else
 426     return commit_error(utcb, ret);
 427 }
 428
 429
 430 PRIVATE inline NOEXPORT
 431 L4_msg_tag
 432 Task::sys_unmap(Syscall_frame *f, Utcb *utcb)
 433 {
 434   Lock_guard<Lock> guard;
 435
 436   if (!guard.lock(&existence_lock))
 437     return commit_error(utcb, L4_error::Not_existent);
 438
 439   LOG_TRACE("Task unmap", "unm", ::current(), __task_unmap_fmt,
 440             Log_unmap *lu = tbe->payload<Log_unmap>();
 441             lu->id = dbg_id();
 442             lu->mask  = utcb->values[1];
 443             lu->fpage = utcb->values[2]);
 444
 445   cpu_lock.clear();
 446
 447   Reap_list rl;
 448   L4_map_mask m(utcb->values[1]);
 449   unsigned words = f->tag().words();
 450
 451   for (unsigned i = 2; i < words; ++i)
 452     {
 453       unsigned const flushed = fpage_unmap(this, L4_fpage(utcb->values[i]), m, rl.list());
 454       utcb->values[i] = (utcb->values[i] & ~0xfUL) | flushed;
 455     }
 456
 457   rl.del();
 458
 459   cpu_lock.lock();
 460   return commit_result(0, words);
 461 }
 462
 463 PRIVATE inline NOEXPORT
 464 L4_msg_tag
 465 Task::sys_cap_valid(Syscall_frame *, Utcb *utcb)
 466 {
 467   L4_obj_ref obj(utcb->values[1]);
 468
 469   if (obj.invalid())
 470     return commit_result(0);
 471
 472   Obj_space::Capability cap = obj_space()->lookup(obj.cap());
 473   if (EXPECT_TRUE(cap.valid()))
 474     {
 475       if (!(utcb->values[1] & 1))
 476         return commit_result(1);
 477       else
 478         return commit_result(cap.obj()->map_root()->cap_ref_cnt());
 479     }
 480   else
 481     return commit_result(0);
 482 }
 483
 484 PRIVATE inline NOEXPORT
 485 L4_msg_tag
 486 Task::sys_caps_equal(Syscall_frame *, Utcb *utcb)
 487 {
 488   L4_obj_ref obj_a(utcb->values[1]);
 489   L4_obj_ref obj_b(utcb->values[2]);
 490
 491   if (obj_a == obj_b)
 492     return commit_result(1);
 493
 494   if (obj_a.invalid() || obj_b.invalid())
 495     return commit_result(obj_a.invalid() && obj_b.invalid());
 496
 497   Obj_space::Capability c_a = obj_space()->lookup(obj_a.cap());
 498   Obj_space::Capability c_b = obj_space()->lookup(obj_b.cap());
 499
 500   return commit_result(c_a == c_b);
 501 }
 502
 503 PRIVATE inline NOEXPORT
 504 L4_msg_tag
 505 Task::sys_add_ku_mem(Syscall_frame *f, Utcb *utcb)
 506 {
 507   unsigned const w = f->tag().words();
 508   for (unsigned i = 1; i < w; ++i)
 509     {
 510       L4_fpage ku_fp(utcb->values[i]);
 511       if (!ku_fp.is_valid() || !ku_fp.is_mempage())
 512         return commit_result(-L4_err::EInval);
 513
 514       int e = alloc_ku_mem(ku_fp);
 515       if (e < 0)
 516         return commit_result(e);
 517     }
 518
 519   return commit_result(0);
 520 }
 521
 522 PRIVATE inline NOEXPORT
 523 L4_msg_tag
 524 Task::sys_cap_info(Syscall_frame *f, Utcb *utcb)
 525 {
 526   L4_msg_tag const &tag = f->tag();
 527
 528   switch (tag.words())
 529     {
 530     default: return commit_result(-L4_err::EInval);
 531     case 2:  return sys_cap_valid(f, utcb);
 532     case 3:  return sys_caps_equal(f, utcb);
 533     }
 534 }
 535
 536
 537 PUBLIC
 538 void
 539 Task::invoke(L4_obj_ref, Mword rights, Syscall_frame *f, Utcb *utcb)
 540 {
 541   if (EXPECT_FALSE(f->tag().proto() != L4_msg_tag::Label_task))
 542     {
 543       f->tag(commit_result(-L4_err::EBadproto));
 544       return;
 545     }
 546
 547   switch (utcb->values[0])
 548     {
 549     case Map:
 550       f->tag(sys_map(rights, f, utcb));
 551       return;
 552     case Unmap:
 553       f->tag(sys_unmap(f, utcb));
 554       return;
 555     case Cap_info:
 556       f->tag(sys_cap_info(f, utcb));
 557       return;
 558     case Add_ku_mem:
 559       f->tag(sys_add_ku_mem(f, utcb));
 560       return;
 561     default:
 562       L4_msg_tag tag = f->tag();
 563       if (invoke_arch(tag, utcb))
 564         f->tag(tag);
 565       else
 566         f->tag(commit_result(-L4_err::ENosys));
 567       return;
 568     }
 569 }
 570
 571
 572 //---------------------------------------------------------------------------
 573 IMPLEMENTATION [!ux]:
 574
 575 IMPLEMENT inline
 576 void
 577 Task::map_utcb_ptr_page()
 578 {}
 579
 580 IMPLEMENT inline
 581 void
 582 Task::host_init()
 583 {}
 584
 585 IMPLEMENT inline
 586 void
 587 Task::map_tbuf()
 588 {}
 589
 590 PUBLIC inline
 591 Task::~Task()
 592 { free_ku_mem(); }
 593
 594
 595 // ---------------------------------------------------------------------------
 596 INTERFACE [debug]:
 597
 598 EXTENSION class Task
 599 {
 600 private:
 601   struct Log_unmap
 602   {
 603     Mword id;
 604     Mword mask;
 605     Mword fpage;
 606   } __attribute__((packed));
 607
 608   static unsigned unmap_fmt(Tb_entry *, int max, char *buf) asm ("__task_unmap_fmt");
 609 };
 610
 611 // ---------------------------------------------------------------------------
 612 IMPLEMENTATION [debug]:
 613
 614 IMPLEMENT
 615 unsigned
 616 Task::unmap_fmt(Tb_entry *e, int max, char *buf)
 617 {
 618   Log_unmap *l = e->payload<Log_unmap>();
 619   L4_fpage fp(l->fpage);
 620   return snprintf(buf, max, "task=[U:%lx] mask=%lx fpage=[%u/%u]%lx",
 621                   l->id, l->mask, (unsigned)fp.order(), fp.type(), l->fpage);
 622 }
 623
 624 // ---------------------------------------------------------------------------
 625 IMPLEMENTATION[!ia32 || !svm]:
 626
 627 PRIVATE inline NOEXPORT
 628 L4_msg_tag
 629 Task::sys_vm_run(Syscall_frame *, Utcb *)
 630 {
 631   return commit_result(-L4_err::ENosys);
 632 }
 633