]> rtime.felk.cvut.cz Git - novaboot.git/blob - novaboot
Initialize some variables even if /dev/null is passed as novaboot script
[novaboot.git] / novaboot
1 #!/usr/bin/perl -w
2
3 # This program is free software: you can redistribute it and/or modify
4 # it under the terms of the GNU General Public License as published by
5 # the Free Software Foundation, either version 2 of the License, or
6 # (at your option) any later version.
7
8 # This program is distributed in the hope that it will be useful,
9 # but WITHOUT ANY WARRANTY; without even the implied warranty of
10 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11 # GNU General Public License for more details.
12
13 # You should have received a copy of the GNU General Public License
14 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
15
16 use strict;
17 use warnings;
18 use warnings (exists $ENV{NOVABOOT_TEST} ? (FATAL => 'all') : ());
19 use Getopt::Long qw(GetOptionsFromString GetOptionsFromArray);
20 use Pod::Usage;
21 use File::Basename;
22 use File::Spec;
23 use IO::Handle;
24 use Time::HiRes("usleep");
25 use Socket;
26 use FileHandle;
27 use IPC::Open2;
28 use POSIX qw(:errno_h);
29 use Cwd qw(getcwd abs_path);
30 use Expect;
31
32 # always flush
33 $| = 1;
34
35 my $invocation_dir = $ENV{PWD} || getcwd();
36
37 ## Configuration file handling
38
39 # Default configuration
40 $CFG::hypervisor = "";
41 $CFG::hypervisor_params = "serial";
42 $CFG::genisoimage = "genisoimage";
43 $CFG::qemu = 'qemu-system-i386 -cpu coreduo -smp 2';
44 $CFG::default_target = 'qemu';
45 %CFG::targets = (
46     'qemu' => '--qemu',
47     "tud" => '--server=erwin.inf.tu-dresden.de:~sojka/boot/novaboot --rsync-flags="--chmod=Dg+s,ug+w,o-w,+rX --rsync-path=\"umask 002 && rsync\"" --grub --grub-prefix=(nd)/tftpboot/sojka/novaboot --grub-preamble="timeout 0" --concat --iprelay=141.76.48.80:2324 --scriptmod=s/\\\\bhostserial\\\\b/hostserialpci/g',
48     "novabox" => '--server=rtime.felk.cvut.cz:/srv/tftp/novaboot --rsync-flags="--chmod=Dg+s,ug+w,o-w,+rX --rsync-path=\"umask 002 && rsync\"" --pulsar --iprelay=147.32.86.92:2324',
49     "localhost" => '--scriptmod=s/console=tty[A-Z0-9,]+// --server=/boot/novaboot/$NAME --grub2 --grub-prefix=/boot/novaboot/$NAME --grub2-prolog="  set root=\'(hd0,msdos1)\'"',
50     "ryuglab" => '--server=pc-sojkam.felk.cvut.cz:/srv/tftp --uboot --uboot-init="mw f0000b00 \${psc_cfg}; sleep 1" --remote-cmd="ssh -tt pc-sojkam.felk.cvut.cz \"sterm -d -s 115200 /dev/ttyUSB0\""',
51     "ryulocal" => '--dhcp-tftp --serial --uboot --uboot-init="dhcp; mw f0000b00 \${psc_cfg}; sleep 1" --reset-cmd="if which dtrrts; then dtrrts $NB_SERIAL 0 1; sleep 0.1; dtrrts $NB_SERIAL 1 1; fi"',
52
53     );
54 chomp(my $nproc = `nproc`);
55 $CFG::scons = "scons -j$nproc";
56 $CFG::make = "make -j$nproc";
57
58 my $builddir;
59
60 sub read_config($) {
61     my ($cfg) = @_;
62     {
63         package CFG; # Put config data into a separate namespace
64         my $rc = do($cfg);
65
66         # Check for errors
67         if ($@) {
68             die("ERROR: Failure compiling '$cfg' - $@");
69         } elsif (! defined($rc)) {
70             die("ERROR: Failure reading '$cfg' - $!");
71         } elsif (! $rc) {
72             die("ERROR: Failure processing '$cfg'");
73         }
74     }
75     $builddir = File::Spec->rel2abs($CFG::builddir, dirname($cfg)) if defined $CFG::builddir;
76     print STDERR "novaboot: Read $cfg\n";
77 }
78
79 my @cfgs;
80 {
81     # We don't use $0 here, because it points to the novaboot itself and
82     # not to the novaboot script. The problem with this approach is that
83     # when a script is run as "novaboot <options> <script>" then $ARGV[0]
84     # contains the first option. Hence the -f check.
85     my $dir = File::Spec->rel2abs($ARGV[0] && -f $ARGV[0] ? dirname($ARGV[0]) : '', $invocation_dir);
86     while ((-d $dir || -l $dir ) && $dir ne "/") {
87         push @cfgs, "$dir/.novaboot" if -r "$dir/.novaboot";
88         my @dirs = File::Spec->splitdir($dir);
89         $dir = File::Spec->catdir(@dirs[0..$#dirs-1]);
90     }
91     @cfgs = reverse @cfgs;
92     $dir = $ENV{'NOVABOOT_CONFIG_DIR'} || '/etc/novaboot.d';
93     if (opendir(my $dh, $dir)) {
94         my @etccfg = map { "$dir/$_" } grep { /^[-_a-zA-Z0-9]+$/ && -f "$dir/$_" } readdir($dh);
95         closedir $dh;
96         @etccfg = sort(@etccfg);
97         @cfgs = ( @etccfg, @cfgs );
98     }
99 }
100 my $cfg = $ENV{'NOVABOOT_CONFIG'};
101 Getopt::Long::Configure(qw/no_ignore_case pass_through/);
102 GetOptions ("config|c=s" => \$cfg);
103 read_config($_) foreach $cfg or @cfgs;
104
105 ## Command line handling
106
107 my $explicit_target;
108 GetOptions ("target|t=s" => \$explicit_target);
109
110 my ($amt, @append, $bender, @chainloaders, $concat, $config_name_opt, $dhcp_tftp, $dump_opt, $dump_config, @exiton, @expect_raw, $gen_only, $grub_config, $grub_prefix, $grub_preamble, $grub2_prolog, $grub2_config, $help, $ider, $iprelay, $iso_image, $interactive, $kernel_opt, $make, $man, $no_file_gen, $off_opt, $on_opt, $pulsar, $pulsar_root, $qemu, $qemu_append, $qemu_flags_cmd, $remote_cmd, $remote_expect, $reset_cmd, $rom_prefix, $rsync_flags, @scriptmod, $scons, $serial, $server, $stty, $tftp, $tftp_port, $uboot, @uboot_init);
111
112 $rsync_flags = '';
113 $rom_prefix = 'rom://';
114 $stty = 'raw -crtscts -onlcr 115200';
115
116 my @expect_seen = ();
117 sub handle_expect
118 {
119     my ($n, $v) = @_;
120     push(@expect_seen, '-re') if $n eq "expect-re";
121     push(@expect_seen, $v);
122 }
123
124 sub handle_send
125 {
126     my ($n, $v) = @_;
127     unless (@expect_seen) { die("No --expect before --send"); }
128     my $ret = ($n eq "sendcont") ? exp_continue : 0;
129     unshift(@expect_raw, sub { shift->send(eval("\"$v\"")); $ret; });
130     unshift(@expect_raw, @expect_seen);
131     @expect_seen = ();
132 }
133
134 my %opt_spec;
135 %opt_spec = (
136     "amt=s"          => \$amt,
137     "append|a=s"     => \@append,
138     "bender|b"       => \$bender,
139     "build-dir=s"    => sub { my ($n, $v) = @_; $builddir = File::Spec->rel2abs($v); },
140     "concat"         => \$concat,
141     "chainloader=s"  => \@chainloaders,
142     "dhcp-tftp|d"    => \$dhcp_tftp,
143     "dump"           => \$dump_opt,
144     "dump-config"    => \$dump_config,
145     "exiton=s"       => \@exiton,
146     "expect=s"       => \&handle_expect,
147     "expect-re=s"    => \&handle_expect,
148     "expect-raw=s"   => sub { my ($n, $v) = @_; unshift(@expect_raw, eval($v)); },
149     "gen-only"       => \$gen_only,
150     "grub|g:s"       => \$grub_config,
151     "grub-preamble=s"=> \$grub_preamble,
152     "grub-prefix=s"  => \$grub_prefix,
153     "grub2:s"        => \$grub2_config,
154     "grub2-prolog=s" => \$grub2_prolog,
155     "ider"           => \$ider,
156     "iprelay=s"      => \$iprelay,
157     "iso:s"          => \$iso_image,
158     "kernel|k=s"     => \$kernel_opt,
159     "interactive|i"  => \$interactive,
160     "name=s"         => \$config_name_opt,
161     "make|m:s"       => \$make,
162     "no-file-gen"    => \$no_file_gen,
163     "off"            => \$off_opt,
164     "on"             => \$on_opt,
165     "pulsar|p:s"     => \$pulsar,
166     "pulsar-root=s"  => \$pulsar_root,
167     "qemu|Q:s"       => \$qemu,
168     "qemu-append=s"  => \$qemu_append,
169     "qemu-flags|q=s" => \$qemu_flags_cmd,
170     "remote-cmd=s"   => \$remote_cmd,
171     "remote-expect=s"=> \$remote_expect,
172     "reset-cmd=s"    => \$reset_cmd,
173     "rsync-flags=s"  => \$rsync_flags,
174     "scons:s"        => \$scons,
175     "scriptmod=s"    => \@scriptmod,
176     "send=s"         => \&handle_send,
177     "sendcont=s"     => \&handle_send,
178     "serial|s:s"     => \$serial,
179     "server:s"       => \$server,
180     "strip-rom"      => sub { $rom_prefix = ''; },
181     "stty=s"         => \$stty,
182     "tftp"           => \$tftp,
183     "tftp-port=i"    => \$tftp_port,
184     "uboot:s"        => \$uboot,
185     "uboot-init=s"   => \@uboot_init,
186     "h"              => \$help,
187     "help"           => \$man,
188     );
189
190 # First process target options
191 {
192     my $t = defined($explicit_target) ? $explicit_target : $CFG::default_target;
193     my @target_expanded;
194     Getopt::Long::Configure(qw/no_ignore_case pass_through/);
195     while ($t) {
196         exists $CFG::targets{$t} or die("Unknown target '$t' (valid targets are: ".join(", ", sort keys(%CFG::targets)).")");
197
198         undef $explicit_target;
199         my ($ret, $remaining_args) = GetOptionsFromString ($CFG::targets{$t}, ("target|t=s" => \$explicit_target));
200         if (!$ret) { die "Error parsing target $t option"; }
201         push(@target_expanded, @$remaining_args);
202         $t = $explicit_target;
203     }
204     Getopt::Long::Configure(qw/no_ignore_case no_pass_through/);
205     GetOptionsFromArray(\@target_expanded, %opt_spec) or die ("Error in target definition");
206 }
207
208 # Then process other command line options - some of them may override
209 # what was specified by the target
210 GetOptions %opt_spec or die("Error in command line arguments");
211 pod2usage(1) if $help;
212 pod2usage(-exitstatus => 0, -verbose => 2) if $man;
213
214 ### Dump sanitized configuration (if requested)
215
216 if ($dump_config) {
217     use Data::Dumper;
218     $Data::Dumper::Indent=1;
219     print "# This file is in perl syntax.\n";
220     foreach my $key(sort(keys(%CFG::))) { # See "Symbol Tables" in perlmod(1)
221         if (defined ${$CFG::{$key}}) { print Data::Dumper->Dump([${$CFG::{$key}}], ["*$key"]); }
222         if (        @{$CFG::{$key}}) { print Data::Dumper->Dump([\@{$CFG::{$key}}], ["*$key"]); }
223         if (        %{$CFG::{$key}}) { print Data::Dumper->Dump([\%{$CFG::{$key}}], ["*$key"]); }
224     }
225     print "1;\n";
226     exit;
227 }
228
229 ### Sanitize configuration
230
231 if ($interactive && !-t STDIN) {
232     die("novaboot: Interactive mode not supported when not on terminal");
233 }
234
235 if (defined $config_name_opt && scalar(@ARGV) > 1) { die "You cannot use --name with multiple scripts"; }
236
237 if ($ider) {
238     $iso_image //= ''; # IDE-R needs an ISO image
239     if (!defined $amt) { die "Error: --ider requires --amt"; }
240 }
241
242 # Default options
243 if (defined $serial) {
244     $serial ||= "/dev/ttyUSB0";
245     $ENV{NB_SERIAL} = $serial;
246 }
247 if (defined $grub_config) { $grub_config ||= "menu.lst"; }
248 if (defined $grub2_config) { $grub2_config ||= "grub.cfg"; }
249
250 ## Parse the novaboot script(s)
251 my @scripts;
252 my $file;
253 my $EOF;
254 my $last_fn = '';
255 my ($modules, $variables, $generated, $continuation) = ([], {}, []);
256 my $skip_reading = defined($on_opt) || defined($off_opt);
257 while (!$skip_reading && ($_ = <>)) {
258     if ($ARGV ne $last_fn) { # New script
259         die "Missing EOF in $last_fn" if $file;
260         die "Unfinished line in $last_fn" if $continuation;
261         $last_fn = $ARGV;
262         push @scripts, { 'filename' => $ARGV,
263                          'modules' => $modules = [],
264                          'variables' => $variables = {},
265                          'generated' => $generated = []};
266
267     }
268     chomp();
269     next if /^#/ || /^\s*$/;    # Skip comments and empty lines
270
271     $_ =~ s/^[[:space:]]*// if ($continuation);
272
273     if (/\\$/) {                # Line continuation
274         $continuation .= substr($_, 0, length($_)-1);
275         next;
276     }
277
278     if ($continuation) {        # Last continuation line
279         $_ = $continuation . $_;
280         $continuation = '';
281     }
282
283     foreach my $mod(@scriptmod) { eval $mod; }
284
285     if ($file && $_ eq $EOF) {  # Heredoc end
286         undef $file;
287         next;
288     }
289     if ($file) {                # Heredoc content
290         push @{$file}, "$_\n";
291         next;
292     }
293     if (/^([A-Z_]+)=(.*)$/) {   # Internal variable
294         $$variables{$1} = $2;
295         push(@exiton, $2) if ($1 eq "EXITON");
296         next;
297     }
298     if (s/^load *//) {          # Load line
299         die("novaboot: '$last_fn' line $.: Missing file name\n") unless /^[^ <]+/;
300         if (/^([^ ]*)(.*?)[[:space:]]*<<([^ ]*)$/) { # Heredoc start
301             push @$modules, "$1$2";
302             $file = [];
303             push @$generated, {filename => $1, content => $file};
304             $EOF = $3;
305             next;
306         }
307         if (/^([^ ]*)(.*?)[[:space:]]*< ?(.*)$/) { # Command substitution
308             push @$modules, "$1$2";
309             push @$generated, {filename => $1, command => $3};
310             next;
311         }
312         push @$modules, $_;
313         next;
314     }
315     if (/^run (.*)/) {          # run line
316         push @$generated, {command => $1};
317         next;
318     }
319
320     die("novaboot: Cannot parse script '$last_fn' line $.. Didn't you forget 'load' keyword?\n");
321 }
322 # use Data::Dumper;
323 # print Dumper(\@scripts);
324
325 foreach my $script (@scripts) {
326     $modules = $$script{modules};
327     @$modules[0] =~ s/^[^ ]*/$kernel_opt/ if $kernel_opt;
328     @$modules[0] .= ' ' . join(' ', @append) if @append;
329
330     my $kernel;
331     if (exists $variables->{KERNEL}) {
332         $kernel = $variables->{KERNEL};
333     } else {
334         if ($CFG::hypervisor) {
335             $kernel = $CFG::hypervisor . " ";
336             if (exists $variables->{HYPERVISOR_PARAMS}) {
337                 $kernel .= $variables->{HYPERVISOR_PARAMS};
338             } else {
339                 $kernel .= $CFG::hypervisor_params;
340             }
341         }
342     }
343     @$modules = ($kernel, @$modules) if $kernel;
344     @$modules = (@chainloaders, @$modules);
345     @$modules = ("bin/boot/bender", @$modules) if ($bender || defined $ENV{'NOVABOOT_BENDER'});
346 }
347
348 if ($dump_opt) {
349     foreach my $script (@scripts) {
350         print join("\n", @{$$script{modules}})."\n";
351     }
352     exit(0);
353 }
354
355 ## Helper functions
356
357 sub generate_configs($$$) {
358     my ($base, $generated, $filename) = @_;
359     if ($base) { $base = "$base/"; };
360     foreach my $g(@$generated) {
361       if (exists $$g{content}) {
362         my $config = $$g{content};
363         my $fn = $$g{filename};
364         open(my $f, '>', $fn) || die("$fn: $!");
365         map { s|\brom://([^ ]*)|$rom_prefix$base$1|g; print $f "$_"; } @{$config};
366         close($f);
367         print "novaboot: Created $fn\n";
368       } elsif (exists $$g{command} && ! $no_file_gen) {
369         $ENV{SRCDIR} = dirname(File::Spec->rel2abs( $filename, $invocation_dir ));
370         if (exists $$g{filename}) {
371             system_verbose("( $$g{command} ) > $$g{filename}");
372         } else {
373             system_verbose($$g{command});
374         }
375       }
376     }
377 }
378
379 sub generate_grub_config($$$$;$)
380 {
381     my ($filename, $title, $base, $modules_ref, $preamble) = @_;
382     if ($base) { $base = "$base/"; };
383     open(my $fg, '>', $filename) or die "$filename: $!";
384     print $fg "$preamble\n" if $preamble;
385     print $fg "title $title\n" if $title;
386     #print $fg "root $base\n"; # root doesn't really work for (nd)
387     my $first = 1;
388     foreach (@$modules_ref) {
389         if ($first) {
390             $first = 0;
391             my ($kbin, $kcmd) = split(' ', $_, 2);
392             $kcmd = '' if !defined $kcmd;
393             print $fg "kernel ${base}$kbin $kcmd\n";
394         } else {
395             s|\brom://([^ ]*)|$rom_prefix$base$1|g; # Translate rom:// files - needed for vdisk parameter of sigma0
396             print $fg "module $base$_\n";
397         }
398     }
399     close($fg);
400     print("novaboot: Created $builddir/$filename\n");
401     return $filename;
402 }
403
404 sub generate_syslinux_config($$$$)
405 {
406     my ($filename, $title, $base, $modules_ref) = @_;
407     if ($base && $base !~ /\/$/) { $base = "$base/"; };
408     open(my $fg, '>', $filename) or die "$filename: $!";
409     print $fg "LABEL $title\n";
410     #TODO print $fg "MENU LABEL $human_readable_title\n";
411
412     my ($kbin, $kcmd) = split(' ', @$modules_ref[0], 2);
413
414     if (system("file $kbin|grep 'Linux kernel'") == 0) {
415         my $initrd = @$modules_ref[1];
416         die('To many "load" lines for Linux kernel') if (scalar @$modules_ref > 2);
417         print $fg "LINUX $base$kbin\n";
418         print $fg "APPEND $kcmd\n";
419         print $fg "INITRD $base$initrd\n";
420     } else {
421         print $fg "KERNEL mboot.c32\n";
422         my @append;
423         foreach (@$modules_ref) {
424             s|\brom://([^ ]*)|$rom_prefix$base$1|g; # Translate rom:// files - needed for vdisk parameter of sigma0
425             push @append, "$base$_";
426             print $fg "APPEND ".join(' --- ', @append)."\n";
427         }
428     }
429     #TODO print $fg "TEXT HELP\n";
430     #TODO print $fg "some help here\n";
431     #TODO print $fg "ENDTEXT\n";
432     close($fg);
433     print("novaboot: Created $builddir/$filename\n");
434     return $filename;
435 }
436
437 sub generate_grub2_config($$$$;$$)
438 {
439     my ($filename, $title, $base, $modules_ref, $preamble, $prolog) = @_;
440     if ($base && substr($base,-1,1) ne '/') { $base = "$base/"; };
441     open(my $fg, '>', $filename) or die "$filename: $!";
442     print $fg "$preamble\n" if $preamble;
443     $title ||= 'novaboot';
444     print $fg "menuentry $title {\n";
445     print $fg "$prolog\n" if $prolog;
446     my $first = 1;
447     foreach (@$modules_ref) {
448         if ($first) {
449             $first = 0;
450             my ($kbin, $kcmd) = split(' ', $_, 2);
451             $kcmd = '' if !defined $kcmd;
452             print $fg "  multiboot ${base}$kbin $kcmd\n";
453         } else {
454             my @args = split;
455             # GRUB2 doesn't pass filename in multiboot info so we have to duplicate it here
456             $_ = join(' ', ($args[0], @args));
457             s|\brom://|$rom_prefix|g; # We do not need to translate path for GRUB2
458             print $fg "  module $base$_\n";
459         }
460     }
461     print $fg "}\n";
462     close($fg);
463     print("novaboot: Created $builddir/$filename\n");
464     return $filename;
465 }
466
467 sub generate_pulsar_config($$)
468 {
469     my ($filename, $modules_ref) = @_;
470     open(my $fg, '>', $filename) or die "$filename: $!";
471     print $fg "root $pulsar_root\n" if defined $pulsar_root;
472     my $first = 1;
473     my ($kbin, $kcmd);
474     foreach (@$modules_ref) {
475         if ($first) {
476             $first = 0;
477             ($kbin, $kcmd) = split(' ', $_, 2);
478             $kcmd = '' if !defined $kcmd;
479         } else {
480             my @args = split;
481             s|\brom://|$rom_prefix|g;
482             print $fg "load $_\n";
483         }
484     }
485     # Put kernel as last - this is needed for booting Linux and has no influence on non-Linux OSes
486     print $fg "exec $kbin $kcmd\n";
487     close($fg);
488     print("novaboot: Created $builddir/$filename\n");
489     return $filename;
490 }
491
492 sub shell_cmd_string(@)
493 {
494     return join(' ', map((/^[-_=a-zA-Z0-9\/\.\+]+$/ ? "$_" : "'$_'"), @_));
495 }
496
497 sub exec_verbose(@)
498 {
499     print "novaboot: Running: ".shell_cmd_string(@_)."\n";
500     exec(@_);
501     exit(1); # should not be reached
502 }
503
504 sub system_verbose($)
505 {
506     my $cmd = shift;
507     print "novaboot: Running: $cmd\n";
508     my $ret = system($cmd);
509     if ($ret & 0x007f) { die("Command terminated by a signal"); }
510     if ($ret & 0xff00) {die("Command exit with non-zero exit code"); }
511     if ($ret) { die("Command failure $ret"); }
512 }
513
514 ## WvTest handline
515
516 if (exists $variables->{WVDESC}) {
517     print "Testing \"$variables->{WVDESC}\" in $last_fn:\n";
518 } elsif ($last_fn =~ /\.wv$/) {
519     print "Testing \"all\" in $last_fn:\n";
520 }
521
522 ## Connect to the target and check whether it is not occupied
523
524 # We have to do this before file generation phase, because file
525 # generation is intermixed with file deployment phase and we want to
526 # check whether the target is not used by somebody else before
527 # deploying files. Otherwise, we may rewrite other user's files on a
528 # boot server.
529
530 my $exp; # Expect object to communicate with the target over serial line
531
532 my ($target_reset, $target_power_on, $target_power_off);
533 my ($amt_user, $amt_password, $amt_host, $amt_port);
534
535 if (defined $iprelay) {
536     my $IPRELAY;
537     $iprelay =~ /([.0-9]+)(:([0-9]+))?/;
538     my $addr = $1;
539     my $port = $3 || 23;
540     my $paddr   = sockaddr_in($port, inet_aton($addr));
541     my $proto   = getprotobyname('tcp');
542     socket($IPRELAY, PF_INET, SOCK_STREAM, $proto)  || die "socket: $!";
543     print "novaboot: Connecting to IP relay... ";
544     connect($IPRELAY, $paddr)    || die "connect: $!";
545     print "done\n";
546     $exp = Expect->init(\*$IPRELAY);
547     $exp->log_stdout(1);
548
549     while (1) {
550         print $exp "\xFF\xF6";  # AYT
551         my $connected = $exp->expect(20, # Timeout in seconds
552                                      '<iprelayd: connected>',
553                                      '-re', '<WEB51 HW[^>]*>');
554         last if $connected;
555     }
556
557     sub relaycmd($$) {
558         my ($relay, $onoff) = @_;
559         die unless ($relay == 1 || $relay == 2);
560
561         my $cmd = ($relay == 1 ? 0x5 : 0x6) | ($onoff ? 0x20 : 0x10);
562         return "\xFF\xFA\x2C\x32".chr($cmd)."\xFF\xF0";
563     }
564
565     sub relayconf($$) {
566         my ($relay, $onoff) = @_;
567         die unless ($relay == 1 || $relay == 2);
568         my $cmd = ($relay == 1 ? 0xdf : 0xbf) | ($onoff ? 0x00 : 0xff);
569         return "\xFF\xFA\x2C\x97".chr($cmd)."\xFF\xF0";
570     }
571
572     sub relay($$;$) {
573         my ($relay, $onoff, $can_giveup) = @_;
574         my $confirmation = '';
575         $exp->log_stdout(0);
576         print $exp relaycmd($relay, $onoff);
577         my $confirmed = $exp->expect(20, # Timeout in seconds
578                                      relayconf($relay, $onoff));
579         if (!$confirmed) {
580             if ($can_giveup) {
581                 print("Relay confirmation timeout - ignoring\n");
582             } else {
583                 die "Relay confirmation timeout";
584             }
585         }
586         $exp->log_stdout(1);
587     }
588
589     $target_reset = sub {
590         relay(2, 1, 1); # Reset the machine
591         usleep(100000);
592         relay(2, 0);
593     };
594
595     $target_power_off = sub {
596         relay(1, 1);            # Press power button
597         usleep(6000000);        # Long press to switch off
598         relay(1, 0);
599     };
600
601     $target_power_on = sub {
602         relay(1, 1);            # Press power button
603         usleep(100000);         # Short press
604         relay(1, 0);
605     };
606 }
607 elsif ($serial) {
608     my $CONN;
609     system_verbose("stty -F $serial $stty");
610     open($CONN, "+<", $serial) || die "open $serial: $!";
611     $exp = Expect->init(\*$CONN);
612 }
613 elsif ($remote_cmd) {
614     print "novaboot: Running: $remote_cmd\n";
615     $exp = Expect->spawn($remote_cmd);
616 }
617 elsif (defined $amt) {
618     require LWP::UserAgent;
619     require LWP::Authen::Digest;
620
621     sub genXML {
622         my ($host, $username, $password, $schema, $className, $pstate) = @_;
623         #AMT numbers for PowerStateChange (MNI => bluescreen on windows;-)
624         my %pstates = ("on"        => 2,
625                        "standby"   => 4,
626                        "hibernate" => 7,
627                        "off"       => 8,
628                        "reset"     => 10,
629                        "MNI"       => 11);
630         return <<END;
631                 <s:Envelope xmlns:s="http://www.w3.org/2003/05/soap-envelope" xmlns:a="http://schemas.xmlsoap.org/ws/2004/08/addressing" xmlns:w="http://schemas.dmtf.org/wbem/wsman/1/wsman.xsd">
632                 <s:Header><a:To>http://$host:16992/wsman</a:To>
633                 <w:ResourceURI s:mustUnderstand="true">$schema</w:ResourceURI>
634                 <a:ReplyTo><a:Address s:mustUnderstand="true">http://schemas.xmlsoap.org/ws/2004/08/addressing/role/anonymous</a:Address></a:ReplyTo>
635                 <a:Action s:mustUnderstand="true">$schema$className</a:Action>
636                 <w:MaxEnvelopeSize s:mustUnderstand="true">153600</w:MaxEnvelopeSize>
637                 <a:MessageID>uuid:709072C9-609C-4B43-B301-075004043C7C</a:MessageID>
638                 <w:Locale xml:lang="en-US" s:mustUnderstand="false" />
639                 <w:OperationTimeout>PT60.000S</w:OperationTimeout>
640                 <w:SelectorSet><w:Selector Name="Name">Intel(r) AMT Power Management Service</w:Selector></w:SelectorSet>
641                 </s:Header><s:Body>
642                 <p:RequestPowerStateChange_INPUT xmlns:p="http://schemas.dmtf.org/wbem/wscim/1/cim-schema/2/CIM_PowerManagementService">
643                 <p:PowerState>$pstates{$pstate}</p:PowerState>
644                 <p:ManagedElement><a:Address>http://$host:16992/wsman</a:Address>
645                 <a:ReferenceParameters><w:ResourceURI>http://schemas.dmtf.org/wbem/wscim/1/cim-schema/2/CIM_ComputerSystem</w:ResourceURI>
646                 <w:SelectorSet><w:Selector Name="Name">ManagedSystem</w:Selector></w:SelectorSet>
647                 </a:ReferenceParameters></p:ManagedElement>
648                 </p:RequestPowerStateChange_INPUT>
649                 </s:Body></s:Envelope>
650 END
651     }
652
653     sub sendPOST {
654         my ($host, $username, $password, $content) = @_;
655
656         my $ua = LWP::UserAgent->new();
657         $ua->agent("novaboot");
658
659         my $req = HTTP::Request->new(POST => "http://$host:16992/wsman");
660         my $res = $ua->request($req);
661         die ("Unexpected AMT response: " . $res->status_line) unless $res->code == 401;
662
663         my ($realm) = $res->header("WWW-Authenticate") =~ /Digest realm="(.*?)"/;
664         $ua->credentials("$host:16992", $realm, $username => $password);
665
666         # Create a request
667         $req = HTTP::Request->new(POST => "http://$host:16992/wsman");
668         $req->content_type('application/x-www-form-urlencoded');
669         $req->content($content);
670         $res = $ua->request($req);
671         die ("AMT power change request failed: " . $res->status_line) unless $res->is_success;
672         $res->content() =~ /<g:ReturnValue>(\d+)<\/g:ReturnValue>/;
673         return $1;
674     }
675
676     sub powerChange  {
677         my ($host, $username, $password, $pstate)=@_;
678         my $schema="http://schemas.dmtf.org/wbem/wscim/1/cim-schema/2/CIM_PowerManagementService";
679         my $className="/RequestPowerStateChange";
680         my $content = genXML($host, $username, $password ,$schema, $className, $pstate);
681         return sendPOST($host, $username, $password, $content);
682     }
683
684     ($amt_user,$amt_password,$amt_host,$amt_port) = ($amt =~ /(?:(.*?)(?::(.*))?@)?([^:]*)(?::([0-9]*))?/);;
685     $amt_user ||= "admin";
686     $amt_password ||= $ENV{'AMT_PASSWORD'} || die "AMT password not specified";
687     $amt_host || die "AMT host not specified";
688     $amt_port ||= 16994;
689
690
691     $target_power_off = sub {
692         $exp->close();
693         my $result = powerChange($amt_host,$amt_user,$amt_password, "off");
694         die "AMT power off failed (ReturnValue $result)" if $result != 0;
695     };
696
697     $target_power_on = sub {
698         my $result = powerChange($amt_host,$amt_user,$amt_password, "on");
699         die "AMT power on failed (ReturnValue $result)" if $result != 0;
700     };
701
702     $target_reset = sub {
703         my $result = powerChange($amt_host,$amt_user,$amt_password, "reset");
704         if ($result != 0) {
705             print STDERR "Warning: Cannot reset $amt_host, trying power on. ";
706             $result = powerChange($amt_host,$amt_user,$amt_password, "on");
707         }
708         die "AMT reset failed (ReturnValue $result)" if $result != 0;
709     };
710
711     my $cmd = "amtterm -u $amt_user -p $amt_password $amt_host $amt_port";
712     print "novaboot: Running: $cmd\n" =~ s/\Q$amt_password\E/???/r;
713     $exp = Expect->spawn($cmd);
714     $exp->expect(10, "RUN_SOL") || die "Expect for 'RUN_SOL' timed out";
715
716 }
717
718
719 if ($remote_expect) {
720     $exp->expect(10, $remote_expect) || die "Expect for '$remote_expect' timed out";
721 }
722
723 if (defined $reset_cmd) {
724     $target_reset = sub {
725         system_verbose($reset_cmd);
726     };
727 }
728
729 if (defined $on_opt && defined $target_power_on) {
730     &$target_power_on();
731     exit;
732 }
733 if (defined $off_opt && defined $target_power_off) {
734     print "novaboot: Switching the target off...\n";
735     &$target_power_off();
736     exit;
737 }
738
739 $builddir ||= dirname(File::Spec->rel2abs( ${$scripts[0]}{filename})) if scalar @scripts;
740 if (defined $builddir) {
741     chdir($builddir) or die "Can't change directory to $builddir: $!";
742     print "novaboot: Entering directory `$builddir'\n";
743 } else {
744     $builddir = $invocation_dir;
745 }
746
747 ## File generation phase
748 my (%files_iso, $menu_iso, $filename);
749 my $config_name = '';
750
751 foreach my $script (@scripts) {
752     $filename = $$script{filename};
753     $modules = $$script{modules};
754     $generated = $$script{generated};
755     $variables = $$script{variables};
756
757     ($config_name = $filename) =~ s#.*/##;
758     $config_name = $config_name_opt if (defined $config_name_opt);
759
760     if (exists $variables->{BUILDDIR}) {
761         $builddir = File::Spec->rel2abs($variables->{BUILDDIR});
762         chdir($builddir) or die "Can't change directory to $builddir: $!";
763         print "novaboot: Entering directory `$builddir'\n";
764     }
765
766     my $prefix;
767     ($prefix = $grub_prefix) =~ s/\$NAME/$config_name/ if defined $grub_prefix;
768     $prefix ||= $builddir;
769     # TODO: use $grub_prefix as first parameter if some switch is given
770     generate_configs('', $generated, $filename);
771
772 ### Generate bootloader configuration files
773     my @bootloader_configs;
774     push @bootloader_configs, generate_grub_config($grub_config, $config_name, $prefix, $modules, $grub_preamble) if (defined $grub_config);
775     push @bootloader_configs, generate_grub2_config($grub2_config, $config_name, $prefix, $modules, $grub_preamble, $grub2_prolog) if (defined $grub2_config);
776     push @bootloader_configs, generate_pulsar_config('config-'.($pulsar||'novaboot'), $modules) if (defined $pulsar);
777
778 ### Run scons or make
779     {
780         my @files = map({ ($file) = m/([^ ]*)/; $file; } @$modules);
781         # Filter-out generated files
782         my @to_build = grep({ my $file = $_; !scalar(grep($file eq ($$_{filename} || ''), @$generated)) } @files);
783
784         system_verbose($scons || $CFG::scons." ".join(" ", @to_build)) if (defined $scons);
785         system_verbose($make  || $CFG::make ." ".join(" ", @to_build)) if (defined $make);
786     }
787
788 ### Copy files (using rsync)
789     if (defined $server && !defined($gen_only)) {
790         (my $real_server = $server) =~ s/\$NAME/$config_name/;
791
792         my ($hostname, $path) = split(":", $real_server, 2);
793         if (! defined $path) {
794             $path = $hostname;
795             $hostname = "";
796         }
797         my $files = join(" ", map({ ($file) = m/([^ ]*)/; $file; } ( @$modules, @bootloader_configs)));
798         map({ my $file = (split)[0]; die "$file: $!" if ! -f $file; } @$modules);
799         my $istty = -t STDOUT && ($ENV{'TERM'} || 'dumb') ne 'dumb';
800         my $progress = $istty ? "--progress" : "";
801         system_verbose("rsync $progress -RLp $rsync_flags $files $real_server");
802         if ($server =~ m|/\$NAME$| && $concat) {
803             my $cmd = join("; ", map { "( cd $path/.. && cat */$_ > $_ )" } @bootloader_configs);
804             system_verbose($hostname ? "ssh $hostname '$cmd'" : $cmd);
805         }
806     }
807
808 ### Prepare ISO image generation
809     if (defined $iso_image) {
810         generate_configs("(cd)", $generated, $filename);
811         my $menu;
812         generate_syslinux_config(\$menu, $config_name, "/", $modules);
813         $menu_iso .= "$menu\n";
814         map { ($file,undef) = split; $files_iso{$file} = 1; } @$modules;
815     }
816 }
817
818 ## Generate ISO image
819 if (defined $iso_image) {
820     system_verbose("mkdir -p isolinux");
821
822     my @files;
823     if (-f '/usr/lib/ISOLINUX/isolinux.bin') {
824         # Newer ISOLINUX version
825         @files = qw(/usr/lib/ISOLINUX/isolinux.bin /usr/lib/syslinux/modules/bios/mboot.c32 /usr/lib/syslinux/modules/bios/libcom32.c32 /usr/lib/syslinux/modules/bios/menu.c32 /usr/lib/syslinux/modules/bios/ldlinux.c32);
826     } else {
827         # Older ISOLINUX version
828         @files = qw(/usr/lib/syslinux/isolinux.bin /usr/lib/syslinux/mboot.c32 /usr/lib/syslinux/menu.c32);
829     }
830     system_verbose("cp @files isolinux");
831     open(my $fh, ">isolinux/isolinux.cfg");
832     if ($#scripts) {
833         print $fh "TIMEOUT 50\n";
834         print $fh "DEFAULT menu\n";
835     } else {
836         print $fh "DEFAULT $config_name\n";
837     }
838     print $fh "$menu_iso";
839     close($fh);
840
841     my $files = join(" ", map("$_=$_", (keys(%files_iso), 'isolinux/isolinux.cfg', map(s|.*/|isolinux/|r, @files))));
842     $iso_image ||= "$config_name.iso";
843
844     # Note: We use -U flag below to "Allow 'untranslated' filenames,
845     # completely violating the ISO9660 standards". Without this
846     # option, isolinux is not able to read files names for example
847     # bzImage-3.0.
848     system_verbose("$CFG::genisoimage -R -b isolinux/isolinux.bin -c isolinux/boot.cat -no-emul-boot -boot-load-size 4 -boot-info-table -hide-rr-moved -U -o $iso_image -graft-points $files");
849     print("ISO image created: $builddir/$iso_image\n");
850 }
851
852 exit(0) if defined $gen_only;
853
854 ## Boot the system using various methods and send serial output to stdout
855
856 if (scalar(@scripts) > 1 && ( defined $dhcp_tftp || defined $serial || defined $iprelay)) {
857     die "You cannot do this with multiple scripts simultaneously";
858 }
859
860 if ($variables->{WVTEST_TIMEOUT}) {
861     print "wvtest: timeout ", $variables->{WVTEST_TIMEOUT}, "\n";
862 }
863
864 sub trim($) {
865     my ($str) = @_;
866     $str =~ s/^\s+|\s+$//g;
867     return $str
868 }
869
870 ### Start in Qemu
871
872 if (defined $qemu) {
873     # Qemu
874     $qemu ||= $variables->{QEMU} || $CFG::qemu;
875     my @qemu_flags = split(" ", $qemu);
876     $qemu = shift(@qemu_flags);
877
878     @qemu_flags = split(/ +/, trim($variables->{QEMU_FLAGS})) if exists $variables->{QEMU_FLAGS};
879     @qemu_flags = split(/ +/, trim($qemu_flags_cmd)) if $qemu_flags_cmd;
880     push(@qemu_flags, split(/ +/, trim($qemu_append || '')));
881
882     if (defined $iso_image) {
883         # Boot NOVA with grub (and test the iso image)
884         push(@qemu_flags, ('-cdrom', $iso_image));
885     } else {
886         # Boot NOVA without GRUB
887
888         # Non-patched qemu doesn't like commas, but NUL can live with pluses instead of commans
889         foreach (@$modules) {s/,/+/g;}
890         generate_configs("", $generated, $filename);
891
892         if (scalar @$modules) {
893             my ($kbin, $kcmd) = split(' ', shift(@$modules), 2);
894             $kcmd = '' if !defined $kcmd;
895             my $dtb;
896             @$modules = map { if (/\.dtb$/) { $dtb=$_; (); } else { $_ } } @$modules;
897             my $initrd = join ",", @$modules;
898
899             push(@qemu_flags, ('-kernel', $kbin, '-append', $kcmd));
900             push(@qemu_flags, ('-initrd', $initrd)) if $initrd;
901             push(@qemu_flags, ('-dtb', $dtb)) if $dtb;
902         }
903     }
904     push(@qemu_flags,  qw(-serial stdio)); # Redirect serial output (for collecting test restuls)
905     unshift(@qemu_flags, ('-name', $config_name));
906     print "novaboot: Running: ".shell_cmd_string($qemu, @qemu_flags)."\n";
907     $exp = Expect->spawn(($qemu, @qemu_flags)) || die("exec() failed: $!");
908 }
909
910 ### Local DHCPD and TFTPD
911
912 my ($dhcpd_pid, $tftpd_pid);
913
914 $tftp=1 if $tftp_port;
915
916 if (defined $dhcp_tftp)
917 {
918     generate_configs("(nd)", $generated, $filename);
919     system_verbose('mkdir -p tftpboot');
920     generate_grub_config("tftpboot/os-menu.lst", $config_name, "(nd)", \@$modules, "timeout 0");
921     open(my $fh, '>', 'dhcpd.conf');
922     my $mac = `cat /sys/class/net/eth0/address`;
923     chomp $mac;
924     print $fh "subnet 10.23.23.0 netmask 255.255.255.0 {
925                       range 10.23.23.10 10.23.23.100;
926                       filename \"bin/boot/grub/pxegrub.pxe\";
927                       next-server 10.23.23.1;
928 }
929 host server {
930         hardware ethernet $mac;
931         fixed-address 10.23.23.1;
932 }";
933     close($fh);
934     system_verbose("sudo ip a add 10.23.23.1/24 dev eth0;
935             sudo ip l set dev eth0 up;
936             sudo touch dhcpd.leases");
937
938     # We run servers by forking ourselves, because the servers end up
939     # in our process group and get killed by signals sent to the
940     # process group (e.g. Ctrl-C on terminal).
941     $dhcpd_pid = fork();
942     exec_verbose("sudo dhcpd -d -cf dhcpd.conf -lf dhcpd.leases -pf dhcpd.pid") if ($dhcpd_pid == 0);
943 }
944
945 if (defined $dhcp_tftp || defined $tftp) {
946     $tftp_port ||= 69;
947     # Unfortunately, tftpd requires root privileges even with
948     # non-privileged (>1023) port due to initgroups().
949     system_verbose("sudo in.tftpd --listen --secure -v -v -v --pidfile tftpd.pid  --address :$tftp_port $builddir");
950
951     # Kill server when we die
952     $SIG{__DIE__} = sub { system_verbose('sudo pkill --pidfile=dhcpd.pid') if (defined $dhcp_tftp);
953                           system_verbose('sudo pkill --pidfile=tftpd.pid'); };
954
955     # We have to kill tftpd explicitely, because it is not in our process group
956     $SIG{INT} = sub { system_verbose('sudo pkill --pidfile=tftpd.pid'); exit(0); };
957 }
958
959 ### AMT IDE-R
960 if (defined $ider) {
961     my $ider_cmd= "amtider -c $iso_image -u $amt_user -p $amt_password $amt_host $amt_port"  ;
962     print "novaboot: Running: $ider_cmd\n" =~ s/\Q$amt_password\E/???/r;
963     my $ider_pid = fork();
964     if ($ider_pid == 0) {
965         exec($ider_cmd);
966         die "IDE redirection failed";
967     }
968     # FIXME: This collides with --tftp option. Hopefully, nobody needs
969     # to use both simultaneously.
970     $SIG{__DIE__} = sub { system_verbose('kill $ider_pid'); };
971 }
972
973 ### Reset target (IP relay, AMT, ...)
974
975 if (defined $target_reset) {
976     print "novaboot: Reseting the test box... ";
977     &$target_reset();
978     print "done\n";
979 }
980
981 ### U-boot conversation
982 if (defined $uboot) {
983     my $uboot_prompt = $uboot || '=> ';
984     print "novaboot: Waiting for uBoot prompt...\n";
985     $exp->log_stdout(1);
986     #$exp->exp_internal(1);
987     $exp->expect(20,
988                  [qr/Hit any key to stop autoboot:/, sub { $exp->send("\n"); exp_continue; }],
989                  $uboot_prompt) || die "No uBoot prompt deteceted";
990     foreach my $cmd (@uboot_init) {
991         chomp($cmd);
992         $exp->send("$cmd\n");
993         $exp->expect(10, $uboot_prompt) || die "uBoot prompt timeout";
994     }
995
996     # Boot the system if there are some load lines in the script
997     if (scalar(@$modules) > 0) {
998         my ($kbin, $kcmd) = split(' ', shift(@$modules), 2);
999         my $dtb;
1000         @$modules = map { if (/\.dtb$/) { $dtb=$_; (); } else { $_ } } @$modules;
1001         my $initrd = shift @$modules;
1002
1003         my $kern_addr = '800000';
1004         my $initrd_addr = '-';
1005         my $dtb_addr = '';
1006
1007         $exp->send("tftp $kern_addr $kbin\n");
1008         $exp->expect(10,
1009                      [qr/#/, sub { exp_continue; }],
1010                      $uboot_prompt) || die "Kernel load failed";
1011         if (defined $dtb) {
1012             $dtb_addr = '7f0000';
1013             $exp->send("tftp $dtb_addr $dtb\n");
1014             $exp->expect(10,
1015                          [qr/#/, sub { exp_continue; }],
1016                          $uboot_prompt) || die "Device tree load failed";
1017         }
1018         if (defined $initrd) {
1019             $initrd_addr = 'b00000';
1020             $exp->send("tftp $initrd_addr $initrd\n");
1021             $exp->expect(10,
1022                          [qr/#/, sub { exp_continue; }],
1023                          $uboot_prompt) || die "Initrd load failed";
1024         }
1025         $exp->send("set bootargs '$kcmd'\n");
1026         $exp->expect(5, $uboot_prompt)  || die "uBoot prompt timeout";
1027         $exp->send("bootm $kern_addr $initrd_addr $dtb_addr\n");
1028         $exp->expect(5, "\n")  || die "uBoot command timeout";
1029     }
1030 }
1031
1032 ### Serial line interaction
1033 if (defined $exp) {
1034     # Serial line of the target is available
1035     my $interrupt = 'Ctrl-C';
1036     if ($interactive && !@exiton) {
1037         $interrupt = '"~~."';
1038     }
1039     my $note = (-t STDIN) ? '' : '- only target->host ';
1040     print "novaboot: Serial line interaction $note(press $interrupt to interrupt)...\n";
1041     $exp->log_stdout(1);
1042     if (@exiton) {
1043         $exp->expect(undef, @expect_raw, @exiton);
1044     } else {
1045         my @inputs = ($exp);
1046         if (-t STDIN) { # Set up bi-directional communication if we run on terminal
1047             my $infile = new IO::File;
1048             $infile->IO::File::fdopen(*STDIN,'r');
1049             my $in_object = Expect->exp_init($infile);
1050             $in_object->set_group($exp);
1051
1052             if ($interactive) {
1053                 $in_object->set_seq('~~\.', sub { print "novaboot: Escape sequence detected\r\n"; undef; });
1054                 $in_object->manual_stty(0);       # Use raw terminal mode
1055             } else {
1056                 $in_object->manual_stty(1);       # Do not modify terminal settings
1057             }
1058             push(@inputs, $in_object);
1059         }
1060         #use Data::Dumper;
1061         #print Dumper(\@expect_raw);
1062         $exp->expect(undef, @expect_raw) if @expect_raw;
1063         Expect::interconnect(@inputs) unless defined($exp->exitstatus);
1064     }
1065 }
1066
1067 ## Kill dhcpc or tftpd
1068 if (defined $dhcp_tftp || defined $tftp) {
1069     die("novaboot: This should kill servers on background\n");
1070 }
1071
1072 ## Documentation
1073
1074 =head1 NAME
1075
1076 novaboot - A tool for booting various operating systems on various hardware or in qemu
1077
1078 =head1 SYNOPSIS
1079
1080 B<novaboot> --help
1081
1082 B<novaboot> [option]... [--] script...
1083
1084 B<./script> [option]...
1085
1086 =head1 DESCRIPTION
1087
1088 This program makes booting of an operating system (e.g. NOVA or Linux)
1089 as simple as running a local program. It facilitates booting on local
1090 or remote hosts or in emulators such as qemu. Novaboot operation is
1091 controlled by command line options and by a so called novaboot script,
1092 which can be thought as a generalization of bootloader configuration
1093 files (see L</"NOVABOOT SCRIPT SYNTAX">). Based on this input,
1094 novaboot setups everything for the target host to boot the desired
1095 configuration, i.e. it generates the bootloader configuration file in
1096 the proper format, deploy the binaries and other needed files to
1097 required locations, perhaps on a remote boot server and reset the
1098 target host. Finally, target host's serial output is redirected to
1099 standard output if that is possible.
1100
1101 Typical way of using novaboot is to make the novaboot script
1102 executable and set its first line to I<#!/usr/bin/env novaboot>. Then,
1103 booting a particular OS configuration becomes the same as executing a
1104 local program - the novaboot script.
1105
1106 For example, with C<novaboot> you can:
1107
1108 =over 3
1109
1110 =item 1.
1111
1112 Run an OS in Qemu. This is the default action when no other action is
1113 specified by command line switches. Thus running C<novaboot ./script>
1114 (or C<./script> as described above) will run Qemu and make it boot the
1115 configuration specified in the F<script>.
1116
1117 =item 2.
1118
1119 Create a bootloader configuration file (currently supported
1120 bootloaders are GRUB, GRUB2, Pulsar and U-Boot) and copy it with all
1121 other files needed for booting to a remote boot server.
1122
1123  ./script --server=192.168.1.1:/tftp --iprelay=192.168.1.2
1124
1125 This command copies files to the TFTP server and uses
1126 TCP/IP-controlled relay to reset the target host and receive its
1127 serial output.
1128
1129 =item 3.
1130
1131 Run DHCP and TFTP server on developer's machine to PXE-boot the target
1132 host from it. E.g.
1133
1134  ./script --dhcp-tftp
1135
1136 When a PXE-bootable machine is connected via Ethernet to developer's
1137 machine, it will boot the configuration described in I<script>.
1138
1139 =item 4.
1140
1141 Create bootable ISO images. E.g.
1142
1143  novaboot --iso -- script1 script2
1144
1145 The created ISO image will have GRUB bootloader installed on it and
1146 the boot menu will allow selecting between I<script1> and I<script2>
1147 configurations.
1148
1149 =back
1150
1151 Note that the options needed for a specific target can be stored in a
1152 L</"CONFIGURATION FILE">. Then it is sufficient to use only the B<-t>
1153 option to specify the name of the target.
1154
1155 =head1 PHASES AND OPTIONS
1156
1157 Novaboot performs its work in several phases. Each phase can be
1158 influenced by several options, certain phases can be skipped. The list
1159 of phases (in the execution order) and the corresponding options
1160 follow.
1161
1162 =head2 Configuration reading phase
1163
1164 After starting, novaboot reads configuration files. Their content is
1165 described in L</"CONFIGURATION FILE">. By default, configuration is
1166 read from two locations. First from the configuration directory and
1167 second from F<.novaboot> files along the path to the current
1168 directory. The later read files override settings from the former
1169 ones.
1170
1171 Configuration directory is determined by the content of
1172 NOVABOOT_CONFIG_DIR environment variable defaulting to
1173 F</etc/novaboot.d>. Files in this directory with names consisting
1174 solely from English letters, numbers, dashes '-' and underscores '_'
1175 (note that dot '.' is not included) are read in alphabetical order.
1176
1177 Then novaboot searches for files named F<.novaboot> starting
1178 from the directory of the novaboot script (or working directory, see
1179 bellow) and continuing upwards up to the root directory. The found
1180 configuration files are then read in order from the root directory
1181 downwards.
1182
1183 In certain cases, the location of the novaboot script cannot be
1184 determined in this early phase. This happens either when the script is
1185 read from the standard input or when novaboot is invoked explicitly
1186 and options precede the script name, as in the example L</"4."> above.
1187 In this case the current working directory is used as a starting point
1188 for configuration file search instead of the novaboot script
1189 directory.
1190
1191 =over 8
1192
1193 =item -c, --config=I<filename>
1194
1195 Use the specified configuration file instead of the default one(s).
1196
1197 =back
1198
1199 =head2 Command line processing phase
1200
1201 =over 8
1202
1203 =item --dump-config
1204
1205 Dump the current configuration to stdout end exits. Useful as an
1206 initial template for a configuration file.
1207
1208 =item -h, --help
1209
1210 Print short (B<-h>) or long (B<--help>) help.
1211
1212 =item -t, --target=I<target>
1213
1214 This option serves as a user configurable shortcut for other novaboot
1215 options. The effect of this option is the same as the options stored
1216 in the C<%targets> configuration variable under key I<target>. See
1217 also L</"CONFIGURATION FILE">.
1218
1219 =back
1220
1221 =head2 Script preprocessing phase
1222
1223 This phases allows to modify the parsed novaboot script before it is
1224 used in the later phases.
1225
1226 =over 8
1227
1228 =item -a, --append=I<parameters>
1229
1230 Append a string to the first C<load> line in the novaboot script. This
1231 can be used to append parameters to the kernel's or root task's
1232 command line. Can appear multiple times.
1233
1234 =item -b, --bender
1235
1236 Use F<bender> chainloader. Bender scans the PCI bus for PCI serial
1237 ports and stores the information about them in the BIOS data area for
1238 use by the kernel.
1239
1240 =item --chainloader=I<chainloader>
1241
1242 Chainloader that is loaded before the kernel and other files specified
1243 in the novaboot script. E.g. 'bin/boot/bender promisc'.
1244
1245 =item --dump
1246
1247 Print the modules to boot and their parameters after this phase
1248 finishes. Then exit. This is useful for seeing the effect of other
1249 options in this section.
1250
1251 =item -k, --kernel=F<file>
1252
1253 Replace the first word on the first C<load> line in the novaboot
1254 script with F<file>.
1255
1256 =item --scriptmod=I<perl expression>
1257
1258 When novaboot script is read, I<perl expression> is executed for every
1259 line (in $_ variable). For example, C<novaboot
1260 --scriptmod=s/sigma0/omega6/g> replaces every occurrence of I<sigma0>
1261 in the script with I<omega6>.
1262
1263 When this option is present, it overrides I<$script_modifier> variable
1264 from the configuration file, which has the same effect. If this option
1265 is given multiple times all expressions are evaluated in the command
1266 line order.
1267
1268 =back
1269
1270 =head2 File generation phase
1271
1272 In this phase, files needed for booting are generated in a so called
1273 I<build directory> (see L</--build-dir>). In most cases configuration
1274 for a bootloader is generated automatically by novaboot. It is also
1275 possible to generate other files using I<heredoc> or I<"<"> syntax in
1276 novaboot scripts. Finally, binaries can be generated in this phases by
1277 running C<scons> or C<make>.
1278
1279 =over 8
1280
1281 =item --build-dir=I<directory>
1282
1283 Overrides the default build directory location.
1284
1285 The default build directory location is determined as follows: If the
1286 configuration file defines the C<$builddir> variable, its value is
1287 used. Otherwise, it is the directory that contains the first processed
1288 novaboot script.
1289
1290 See also L</BUILDDIR> variable.
1291
1292 =item -g, --grub[=I<filename>]
1293
1294 Generates grub bootloader menu file. If the I<filename> is not
1295 specified, F<menu.lst> is used. The I<filename> is relative to the
1296 build directory (see B<--build-dir>).
1297
1298 =item --grub-preamble=I<prefix>
1299
1300 Specifies the I<preable> that is at the beginning of the generated
1301 GRUB or GRUB2 config files. This is useful for specifying GRUB's
1302 timeout.
1303
1304 =item --grub-prefix=I<prefix>
1305
1306 Specifies I<prefix> that is put in front of every file name in GRUB's
1307 F<menu.lst>. The default value is the absolute path to the build directory.
1308
1309 If the I<prefix> contains string $NAME, it will be replaced with the
1310 name of the novaboot script (see also B<--name>).
1311
1312 =item --grub2[=I<filename>]
1313
1314 Generate GRUB2 menuentry in I<filename>. If I<filename> is not
1315 specified F<grub.cfg> is used. The content of the menuentry can be
1316 customized with B<--grub-preable>, B<--grub2-prolog> or
1317 B<--grub_prefix> options.
1318
1319 In order to use the the generated menuentry on your development
1320 machine that uses GRUB2, append the following snippet to
1321 F</etc/grub.d/40_custom> file and regenerate your grub configuration,
1322 i.e. run update-grub on Debian/Ubuntu.
1323
1324   if [ -f /path/to/nul/build/grub.cfg ]; then
1325     source /path/to/nul/build/grub.cfg
1326   fi
1327
1328 =item --grub2-prolog=I<prolog>
1329
1330 Specifies text I<preable> that is put at the beginning of the entry
1331 GRUB2 entry.
1332
1333 =item -m, --make[=make command]
1334
1335 Runs C<make> to build files that are not generated by novaboot itself.
1336
1337 =item --name=I<string>
1338
1339 Use the name I<string> instead of the name of the novaboot script.
1340 This name is used for things like a title of grub menu or for the
1341 server directory where the boot files are copied to.
1342
1343 =item --no-file-gen
1344
1345 Do not run external commands to generate files (i.e. "<" syntax and
1346 C<run> keyword). This switch does not influence generation of files
1347 specified with "<<WORD" syntax.
1348
1349 =item -p, --pulsar[=mac]
1350
1351 Generates pulsar bootloader configuration file named F<config-I<mac>>
1352 The I<mac> string is typically a MAC address and defaults to
1353 I<novaboot>.
1354
1355 =item --scons[=scons command]
1356
1357 Runs C<scons> to build files that are not generated by novaboot
1358 itself.
1359
1360 =item --strip-rom
1361
1362 Strip I<rom://> prefix from command lines and generated config files.
1363 The I<rom://> prefix is used by NUL. For NRE, it has to be stripped.
1364
1365 =item --gen-only
1366
1367 Exit novaboot after file generation phase.
1368
1369 =back
1370
1371 =head2 Target connection check
1372
1373 If supported by the target, the connection to it is made and it is
1374 checked whether the target is not occupied by another novaboot
1375 user/instance.
1376
1377 =over 8
1378
1379 =item --amt=I<"[user[:password]@]host[:port]>
1380
1381 Use Intel AMT technology to control the target machine. WS management
1382 is used to powercycle it and Serial-Over-Lan (SOL) for input/output.
1383 The hostname or (IP address) is given by the I<host> parameter. If
1384 I<password> is not specified, environment variable AMT_PASSWORD is
1385 used. The I<port> specifies a TCP port for SOL. If not specified, the
1386 default is 16992. Default I<user> is admin.
1387
1388 =item --ider
1389
1390 Use Intel AMT technology for IDE redirection. This allows the target
1391 machine to boot from nonvaboot created ISO image.
1392
1393 The experimental I<amtider> utility needed by this option can be
1394 obtained from https://github.com/wentasah/amtterm.
1395
1396 =item --iprelay=I<addr[:port]>
1397
1398 Use TCP/IP relay and serial port to access the target's serial port
1399 and powercycle it. The IP address of the relay is given by I<addr>
1400 parameter. If I<port> is not specified, it default to 23.
1401
1402 Note: This option is supposed to work with HWG-ER02a IP relays.
1403
1404 =item -s, --serial[=device]
1405
1406 Target's serial line is connected to host's serial line (device). The
1407 default value for device is F</dev/ttyUSB0>.
1408
1409 The value of this option is exported in NB_NOVABOOT environment
1410 variable to all subprocesses run by C<novaboot>.
1411
1412 =item --stty=I<settings>
1413
1414 Specifies settings passed to C<stty> invoked on the serial line
1415 specified with B<--serial> option. If this option is not given,
1416 C<stty> is called with C<raw -crtscts -onlcr 115200> settings.
1417
1418 =item --remote-cmd=I<cmd>
1419
1420 Command that mediates connection to the target's serial line. For
1421 example C<ssh server 'cu -l /dev/ttyS0'>.
1422
1423 =item --remote-expect=I<string>
1424
1425 Wait for reception of I<string> after establishing the the remote
1426 connection before continuing.
1427
1428
1429 =back
1430
1431 =head2 File deployment phase
1432
1433 In some setups, it is necessary to copy the files needed for booting
1434 to a particular location, e.g. to a TFTP boot server or to the
1435 F</boot> partition.
1436
1437 =over 8
1438
1439 =item -d, --dhcp-tftp
1440
1441 Turns your workstation into a DHCP and TFTP server so that the OS can
1442 be booted via PXE BIOS (or similar mechanism) on the test machine
1443 directly connected by a plain Ethernet cable to your workstation.
1444
1445 The DHCP and TFTP servers requires root privileges and C<novaboot>
1446 uses C<sudo> command to obtain those. You can put the following to
1447 I</etc/sudoers> to allow running the necessary commands without asking
1448 for password.
1449
1450  Cmnd_Alias NOVABOOT = /bin/ip a add 10.23.23.1/24 dev eth0, /bin/ip l set dev eth0 up, /usr/sbin/dhcpd -d -cf dhcpd.conf -lf dhcpd.leases -pf dhcpd.pid, /usr/sbin/in.tftpd --listen --secure -v -v -v --pidfile tftpd.pid *, /usr/bin/touch dhcpd.leases, /usr/bin/pkill --pidfile=dhcpd.pid, /usr/bin/pkill --pidfile=tftpd.pid
1451  your_login ALL=NOPASSWD: NOVABOOT
1452
1453 =item --tftp
1454
1455 Starts a TFTP server on your workstation. This is similar to
1456 B<--dhcp-tftp> except that DHCP server is not started.
1457
1458 The TFTP server require root privileges and C<novaboot> uses C<sudo>
1459 command to obtain those. You can put the following to I</etc/sudoers>
1460 to allow running the necessary commands without asking for password.
1461
1462  Cmnd_Alias NOVABOOT =  /usr/sbin/in.tftpd --listen --secure -v -v -v --pidfile tftpd.pid *, /usr/bin/pkill --pidfile=tftpd.pid
1463  your_login ALL=NOPASSWD: NOVABOOT
1464
1465 =item --tftp-port=I<port>
1466
1467 Port to run the TFTP server on. Implies B<--tftp>.
1468
1469 =item --iso[=filename]
1470
1471 Generates the ISO image that boots NOVA system via GRUB. If no filename
1472 is given, the image is stored under I<NAME>.iso, where I<NAME> is the name
1473 of the novaboot script (see also B<--name>).
1474
1475 =item --server[=[[user@]server:]path]
1476
1477 Copy all files needed for booting to another location (implies B<-g>
1478 unless B<--grub2> is given). The files will be copied (by B<rsync>
1479 tool) to the directory I<path>. If the I<path> contains string $NAME,
1480 it will be replaced with the name of the novaboot script (see also
1481 B<--name>).
1482
1483 =item --concat
1484
1485 If B<--server> is used and its value ends with $NAME, then after
1486 copying the files, a new bootloader configuration file (e.g. menu.lst)
1487 is created at I<path-wo-name>, i.e. the path specified by B<--server>
1488 with $NAME part removed. The content of the file is created by
1489 concatenating all files of the same name from all subdirectories of
1490 I<path-wo-name> found on the "server".
1491
1492 =item --rsync-flags=I<flags>
1493
1494 Specifies which I<flags> are appended to F<rsync> command line when
1495 copying files as a result of I<--server> option.
1496
1497 =back
1498
1499 =head2 Target power-on and reset phase
1500
1501 =over 8
1502
1503 =item --on, --off
1504
1505 Switch on/off the target machine and exit. The script (if any) is
1506 completely ignored. Currently it works only with B<--iprelay> or
1507 B<--amt>.
1508
1509 =item -Q, --qemu[=I<qemu-binary>]
1510
1511 Boot the configuration in qemu. Optionally, the name of qemu binary
1512 can be specified as a parameter.
1513
1514 =item --qemu-append=I<flags>
1515
1516 Append I<flags> to the default qemu flags (QEMU_FLAGS variable or
1517 C<-cpu coreduo -smp 2>).
1518
1519 =item -q, --qemu-flags=I<flags>
1520
1521 Replace the default qemu flags (QEMU_FLAGS variable or C<-cpu coreduo
1522 -smp 2>) with I<flags> specified here.
1523
1524 =item --reset-cmd=I<cmd>
1525
1526 Command that resets the target.
1527
1528 =back
1529
1530 =head2 Interaction with the bootloader on the target
1531
1532 =over 8
1533
1534 =item --uboot[=I<prompt>]
1535
1536 Interact with uBoot bootloader to boot the thing described in the
1537 novaboot script. I<prompt> specifies the U-Boot's prompt (default is
1538 "=> ", other common prompts are "U-Boot> " or "U-Boot# ").
1539 Implementation of this option is currently tied to a particular board
1540 that we use. It may be subject to changes in the future!
1541
1542 =item --uboot-init
1543
1544 Command(s) to send the U-Boot bootloader before loading the images and
1545 booting them. This option can be given multiple times. After sending
1546 commands from each option novaboot waits for U-Boot I<prompt>.
1547
1548 =back
1549
1550 =head2 Target interaction phase
1551
1552 In this phase, target's serial output is redirected to stdout and if
1553 stdin is a TTY, it is redirected to the target's serial input allowing
1554 interactive work with the target.
1555
1556 =over 8
1557
1558 =item --exiton=I<string>
1559
1560 When I<string> is sent by the target, novaboot exits. This option can
1561 be specified multiple times.
1562
1563 If I<string> is C<-re>, then the next B<--exiton>'s I<string> is
1564 treated as regular expression. For example:
1565
1566     --exiton -re --exiton 'error:.*failed'
1567
1568 =item -i, --interactive
1569
1570 Setup things for interactive use of target. Your terminal will be
1571 switched to raw mode. In raw mode, your system does not process input
1572 in any way (no echoing of entered characters, no interpretation
1573 special characters). This, among others, means that Ctrl-C is passed
1574 to the target and does no longer interrupt novaboot. Use "~~."
1575 sequence to exit novaboot.
1576
1577 =item --expect=I<string>
1578
1579 When I<string> is received from the target, send the string specified
1580 with the subsequent B<--send*> option to the target.
1581
1582 =item --expect-re=I<regex>
1583
1584 When target's output matches regular expression I<regex>, send the
1585 string specified with the subsequent B<--send*> option to the target.
1586
1587 =item --expect-raw=I<perl-code>
1588
1589 Provides direct control over Perl's Expect module.
1590
1591 =item --send=I<string>
1592
1593 Send I<string> to the target after the previously specified
1594 B<--expect*> was matched in the target's output. The I<string> may
1595 contain escape sequences such as "\n".
1596
1597 Note that I<string> is actually interpreted by Perl, so it can contain
1598 much more that escape sequences. This behavior may change in the
1599 future.
1600
1601 Example: C<--expect='login: ' --send='root\n'>
1602
1603 =item --sendcont=I<string>
1604
1605 Similar to B<--send> but continue expecting more input.
1606
1607 Example: C<--expect='Continue?' --sendcont='yes\n'>
1608
1609 =back
1610
1611 =head1 NOVABOOT SCRIPT SYNTAX
1612
1613 The syntax tries to mimic POSIX shell syntax. The syntax is defined
1614 with the following rules.
1615
1616 Lines starting with "#" and empty lines are ignored.
1617
1618 Lines that end with "\" are concatenated with the following line after
1619 removal of the final "\" and leading whitespace of the following line.
1620
1621 Lines of the form I<VARIABLE=...> (i.e. matching '^[A-Z_]+=' regular
1622 expression) assign values to internal variables. See L</VARIABLES>
1623 section.
1624
1625 Lines starting with C<load> keyword represent modules to boot. The
1626 word after C<load> is a file name (relative to the build directory
1627 (see B<--build-dir>) of the module to load and the remaining words are
1628 passed to it as the command line parameters.
1629
1630 When the C<load> line ends with "<<WORD" then the subsequent lines
1631 until the line containing solely WORD are copied literally to the file
1632 named on that line. This is similar to shell's heredoc feature.
1633
1634 When the C<load> line ends with "< CMD" then command CMD is executed
1635 with F</bin/sh> and its standard output is stored in the file named on
1636 that line. The SRCDIR variable in CMD's environment is set to the
1637 absolute path of the directory containing the interpreted novaboot
1638 script.
1639
1640 Lines starting with C<run> keyword contain shell commands that are run
1641 during file generation phase. This is the same as the "< CMD" syntax
1642 for C<load> keyboard except that the command's output is not
1643 redirected to a file. The ordering of commands is the same as they
1644 appear in the novaboot script.
1645
1646 Example (Linux):
1647
1648   #!/usr/bin/env novaboot
1649   load bzImage console=ttyS0,115200
1650   run  make -C buildroot
1651   load rootfs.cpio < gen_cpio buildroot/images/rootfs.cpio "myapp->/etc/init.d/S99myapp"
1652
1653 Example (NOVA User Land - NUL):
1654
1655   #!/usr/bin/env novaboot
1656   WVDESC=Example program
1657   load bin/apps/sigma0.nul S0_DEFAULT script_start:1,1 \
1658                            verbose hostkeyb:0,0x60,1,12,2
1659   load bin/apps/hello.nul
1660   load hello.nulconfig <<EOF
1661   sigma0::mem:16 name::/s0/log name::/s0/timer name::/s0/fs/rom ||
1662   rom://bin/apps/hello.nul
1663   EOF
1664
1665 This example will load three modules: F<sigma0.nul>, F<hello.nul> and
1666 F<hello.nulconfig>. sigma0 receives some command line parameters and
1667 F<hello.nulconfig> file is generated on the fly from the lines between
1668 C<<<EOF> and C<EOF>.
1669
1670 =head2 VARIABLES
1671
1672 The following variables are interpreted in the novaboot script:
1673
1674 =over 8
1675
1676 =item BUILDDIR
1677
1678 Novaboot chdir()s to this directory before file generation phase. The
1679 directory name specified here is relative to the build directory
1680 specified by other means (see L</--build-dir>).
1681
1682 =item EXITON
1683
1684 Assigning this variable has the same effect as specifying L</--exiton>
1685 option.
1686
1687 =item HYPERVISOR_PARAMS
1688
1689 Parameters passed to hypervisor. The default value is "serial", unless
1690 overridden in configuration file.
1691
1692 =item KERNEL
1693
1694 The kernel to use instead of the hypervisor specified in the
1695 configuration file with the C<$hypervisor> variable. The value should
1696 contain the name of the kernel image as well as its command line
1697 parameters. If this variable is defined and non-empty, the variable
1698 HYPERVISOR_PARAMS is not used.
1699
1700 =item QEMU
1701
1702 Use a specific qemu binary (can be overridden with B<-Q>) and flags
1703 when booting this script under qemu. If QEMU_FLAGS variable is also
1704 specified flags specified in QEMU variable are replaced by those in
1705 QEMU_FLAGS.
1706
1707 =item QEMU_FLAGS
1708
1709 Use specific qemu flags (can be overridden with B<-q>).
1710
1711 =item WVDESC
1712
1713 Description of the wvtest-compliant program.
1714
1715 =item WVTEST_TIMEOUT
1716
1717 The timeout in seconds for WvTest harness. If no complete line appears
1718 in the test output within the time specified here, the test fails. It
1719 is necessary to specify this for long running tests that produce no
1720 intermediate output.
1721
1722 =back
1723
1724 =head1 CONFIGURATION FILE
1725
1726 Novaboot can read its configuration from one or more files. By
1727 default, novaboot looks for files named F<.novaboot> as described in
1728 L</Configuration reading phase>. Alternatively, configuration file
1729 location can be specified with the B<-c> switch or with the
1730 NOVABOOT_CONFIG environment variable. The configuration file has perl
1731 syntax and should set values of certain Perl variables. The current
1732 configuration can be dumped with the B<--dump-config> switch. Some
1733 configuration variables can be overridden by environment variables
1734 (see below) or by command line switches.
1735
1736 Supported configuration variables include:
1737
1738 =over 8
1739
1740 =item $builddir
1741
1742 Build directory location relative to the location of the configuration
1743 file.
1744
1745 =item $default_target
1746
1747 Default target (see below) to use when no target is explicitly
1748 specified on command line with the B<--target> option.
1749
1750 =item %targets
1751
1752 Hash of target definitions to be used with the B<--target> option. The
1753 key is the identifier of the target, the value is the string with
1754 command line options. For instance, if the configuration file contains:
1755
1756  $targets{'mybox'} = '--server=boot:/tftproot --serial=/dev/ttyUSB0 --grub',
1757
1758 then the following two commands are equivalent:
1759
1760  ./script --server=boot:/tftproot --serial=/dev/ttyUSB0 --grub
1761  ./script -t mybox
1762
1763 =back
1764
1765 =head1 ENVIRONMENT VARIABLES
1766
1767 Some options can be specified not only via config file or command line
1768 but also through environment variables. Environment variables override
1769 the values from configuration file and command line parameters
1770 override the environment variables.
1771
1772 =over 8
1773
1774 =item NOVABOOT_CONFIG
1775
1776 Name of the novaboot configuration file to use instead of the default
1777 one(s).
1778
1779 =item NOVABOOT_CONFIG_DIR
1780
1781 Name of the novaboot configuration directory. When not specified
1782 F</etc/novaboot.d> is used.
1783
1784 =item NOVABOOT_BENDER
1785
1786 Defining this variable has the same meaning as B<--bender> option.
1787
1788 =back
1789
1790 =head1 AUTHORS
1791
1792 Michal Sojka <sojka@os.inf.tu-dresden.de>