]> rtime.felk.cvut.cz Git - novaboot.git/blob - novaboot
Fix typo
[novaboot.git] / novaboot
1 #!/usr/bin/perl -w
2
3 # This program is free software: you can redistribute it and/or modify
4 # it under the terms of the GNU General Public License as published by
5 # the Free Software Foundation, either version 2 of the License, or
6 # (at your option) any later version.
7
8 # This program is distributed in the hope that it will be useful,
9 # but WITHOUT ANY WARRANTY; without even the implied warranty of
10 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11 # GNU General Public License for more details.
12
13 # You should have received a copy of the GNU General Public License
14 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
15
16 ## Initialization
17
18 use strict;
19 use warnings;
20 use warnings (exists $ENV{NOVABOOT_TEST} ? (FATAL => 'all') : ());
21 use Getopt::Long qw(GetOptionsFromString GetOptionsFromArray);
22 use Pod::Usage;
23 use File::Basename;
24 use File::Spec;
25 use IO::Handle;
26 use Time::HiRes("usleep");
27 use Socket;
28 use FileHandle;
29 use IPC::Open2;
30 use POSIX qw(:errno_h sysconf);
31 use Cwd qw(getcwd abs_path);
32 use Expect;
33
34 # always flush
35 $| = 1;
36
37 my $invocation_dir = $ENV{PWD} || getcwd();
38
39 # We prefer using PWD, to use nicer paths names with symbolic links.
40 # However, when executed from 'make -C dir', PWD may contain the make
41 # invocation path, not the real invocation path with dir at the end.
42 # We fix that here.
43 if (abs_path($ENV{PWD}) ne abs_path(getcwd())) {
44     $invocation_dir = getcwd();
45 }
46
47 ## Configuration file handling
48
49 # Default configuration
50 $CFG::hypervisor = "";
51 $CFG::hypervisor_params = "serial";
52 $CFG::genisoimage = "genisoimage";
53 $CFG::qemu = 'qemu-system-i386 -cpu coreduo -smp 2';
54 $CFG::default_target = '';
55 %CFG::targets = (
56     'qemu' => '--qemu',
57     "tud" => '--server=erwin.inf.tu-dresden.de:~sojka/boot/novaboot --rsync-flags="--chmod=Dg+s,ug+w,o-w,+rX --rsync-path=\"umask 002 && rsync\"" --grub --grub-prefix=(nd)/tftpboot/sojka/novaboot --grub-preamble="timeout 0" --concat --iprelay=141.76.48.80:2324 --scriptmod=s/\\\\bhostserial\\\\b/hostserialpci/g',
58     "novabox" => '--ssh=novabox@rtime.felk.cvut.cz',
59     "localhost" => '--scriptmod=s/console=tty[A-Z0-9,]+// --server=/boot/novaboot/$NAME --grub2 --grub-prefix=/boot/novaboot/$NAME --grub2-prolog="  set root=\'(hd0,msdos1)\'"',
60     "ryu" =>  '--uboot --uboot-init="mw f0000b00 \${psc_cfg}; sleep 1" --uboot-addr kernel=800000 --uboot-addr ramdisk=b00000 --uboot-addr fdt=7f0000',
61     "ryuglab" => '--target ryu --ssh=ryu@pc-sojkam.felk.cvut.cz',
62     "ryulocal" => '--target ryu --dhcp-tftp --serial --reset-cmd="if which dtrrts; then dtrrts $NB_SERIAL 0 1; sleep 0.1; dtrrts $NB_SERIAL 1 1; fi"',
63     );
64
65 {
66     my %const;
67     $const{linux}->{_SC_NPROCESSORS_CONF} = 83;
68     my $nproc = sysconf($const{$^O}->{_SC_NPROCESSORS_CONF});
69
70     $CFG::scons = "scons -j$nproc";
71     $CFG::make = "make -j$nproc";
72 }
73
74 my $builddir;
75
76 sub read_config($) {
77     my ($cfg) = @_;
78     {
79         package CFG; # Put config data into a separate namespace
80
81         my $rc = do($cfg);
82
83         # Check for errors
84         if ($@) {
85             die("ERROR: Failure compiling '$cfg' - $@");
86         } elsif (! defined($rc)) {
87             die("ERROR: Failure reading '$cfg' - $!");
88         } elsif (! $rc) {
89             die("ERROR: Failure processing '$cfg'");
90         }
91     }
92     $builddir = File::Spec->rel2abs($CFG::builddir, dirname($cfg)) if defined $CFG::builddir;
93     print STDERR "novaboot: Read $cfg\n";
94 }
95
96 my @cfgs;
97 {
98     # We don't use $0 here, because it points to the novaboot itself and
99     # not to the novaboot script. The problem with this approach is that
100     # when a script is run as "novaboot <options> <script>" then $ARGV[0]
101     # contains the first option. Hence the -f check.
102     my $dir = File::Spec->rel2abs($ARGV[0] && -f $ARGV[0] ? dirname($ARGV[0]) : '', $invocation_dir);
103     while ((-d $dir || -l $dir ) && $dir ne "/") {
104         push @cfgs, "$dir/.novaboot" if -r "$dir/.novaboot";
105         my @dirs = File::Spec->splitdir($dir);
106         $dir = File::Spec->catdir(@dirs[0..$#dirs-1]);
107     }
108     @cfgs = reverse @cfgs;
109
110     my $xdg_config_home = $ENV{'XDG_CONFIG_HOME'} || $ENV{'HOME'}.'/.config';
111     unshift(@cfgs, "$xdg_config_home/novaboot") if -r "$xdg_config_home/novaboot";
112
113     $dir = $ENV{'NOVABOOT_CONFIG_DIR'} || '/etc/novaboot.d';
114     if (opendir(my $dh, $dir)) {
115         my @etccfg = map { "$dir/$_" } grep { /^[-_a-zA-Z0-9]+$/ && -f "$dir/$_" } readdir($dh);
116         closedir $dh;
117         @etccfg = sort(@etccfg);
118         @cfgs = ( @etccfg, @cfgs );
119     }
120 }
121 my $cfg = $ENV{'NOVABOOT_CONFIG'};
122 Getopt::Long::Configure(qw/no_ignore_case pass_through/);
123 GetOptions ("config|c=s" => \$cfg);
124 read_config($_) foreach $cfg or @cfgs;
125
126 ## Command line handling
127
128 my $explicit_target = $ENV{'NOVABOOT_TARGET'};
129 GetOptions ("target|t=s" => \$explicit_target);
130
131 # Variables for command line options
132 my ($amt, @append, $bender, @chainloaders, $concat, $config_name_opt, $dhcp_tftp, $dump_opt, $dump_config, @exiton, $exiton_timeout, @expect_raw, $final_eol, $gen_only, $grub_config, $grub_prefix, $grub_preamble, $grub2_prolog, $grub2_config, $help, $ider, $interaction, $iprelay, $iprelay_cmd, $iso_image, $interactive, $kernel_opt, $make, $man, $netif, $no_file_gen, $off_opt, $on_opt, $pulsar, $pulsar_root, $qemu, $qemu_append, $qemu_flags_cmd, @remote_cmd, $remote_expect, $remote_expect_silent, $remote_expect_timeout, $reset, @reset_cmd, $reset_send, $rom_prefix, $rsync_flags, @scriptmod, $scons, $serial, $server, $stty, $tftp, $tftp_port, $uboot, %uboot_addr, $uboot_cmd, @uboot_init, $uboot_stop_key);
133
134 my ($target_reset, $target_power_on, $target_power_off);
135
136 # Default values of certain command line options
137 %uboot_addr = (
138     'kernel'  => '${kernel_addr_r}',
139     'ramdisk' => '${ramdisk_addr_r}',
140     'fdt'     => '${fdt_addr_r}',
141     );
142 $rsync_flags = '';
143 $rom_prefix = 'rom://';
144 $stty = 'raw -crtscts -onlcr 115200';
145 $reset = 1;                     # Reset target by default
146 $interaction = 1;               # Perform target interaction by default
147 $final_eol = 1;
148 $netif = 'eth0';
149 $remote_expect_timeout = -1;
150
151 my @expect_seen = ();
152 sub handle_expect
153 {
154     my ($n, $v) = @_;
155     push(@expect_seen, '-re') if $n eq "expect-re";
156     push(@expect_seen, $v);
157 }
158
159 sub handle_send
160 {
161     my ($n, $v) = @_;
162     unless (@expect_seen) { die("No --expect before --send"); }
163     my $ret = ($n eq "sendcont") ? exp_continue : 0;
164     unshift(@expect_raw, sub { shift->send(eval("\"$v\"")); $ret; });
165     unshift(@expect_raw, @expect_seen);
166     @expect_seen = ();
167 }
168
169 # Options which can be safely specified on the server (via --ssh),
170 # i.e. which cannot cause unwanted local code execution etc.
171 my %opt_spec_safe = (
172     "grub|g:s"       => \$grub_config,
173     "grub-preamble=s"=> \$grub_preamble,
174     "grub2-prolog=s" => \$grub2_prolog,
175     "grub2:s"        => \$grub2_config,
176     "prefix|grub-prefix=s" => \$grub_prefix,
177     "pulsar-root=s"  => \$pulsar_root,
178     "pulsar|p:s"     => \$pulsar,
179     "uboot-addr=s"   => \%uboot_addr,
180     "uboot-cmd=s"    => \$uboot_cmd,
181     "uboot-stop-key=s" => \$uboot_stop_key,
182     "uboot-init=s"   => sub { push @uboot_init, { command => $_[1] }; },
183     "uboot:s"        => \$uboot,
184     );
185
186 my %opt_spec = (
187     %opt_spec_safe,
188     "amt=s"          => \$amt,
189     "append|a=s"     => \@append,
190     "bender|b"       => \$bender,
191     "build-dir=s"    => sub { my ($n, $v) = @_; $builddir = File::Spec->rel2abs($v); },
192     "concat"         => \$concat,
193     "chainloader=s"  => \@chainloaders,
194     "dhcp-tftp|d"    => \$dhcp_tftp,
195     "dump"           => \$dump_opt,
196     "dump-config"    => \$dump_config,
197     "exiton=s"       => \@exiton,
198     "exiton-timeout=i"=> \$exiton_timeout,
199     "exiton-re=s"    => sub { my ($n, $v) = @_; push(@exiton, '-re', $v); },
200     "expect=s"       => \&handle_expect,
201     "expect-re=s"    => \&handle_expect,
202     "expect-raw=s"   => sub { my ($n, $v) = @_; unshift(@expect_raw, eval($v)); },
203     "final-eol!"     => \$final_eol,
204     "gen-only"       => \$gen_only,
205     "ider"           => \$ider,
206     "interaction!"   => \$interaction,
207     "iprelay=s"      => \$iprelay,
208     "iprelay-cmd=s"  => \$iprelay_cmd,
209     "iso:s"          => \$iso_image,
210     "kernel|k=s"     => \$kernel_opt,
211     "interactive|i"  => \$interactive,
212     "name=s"         => \$config_name_opt,
213     "make|m:s"       => \$make,
214     "netif=s"        => \$netif,
215     "no-file-gen"    => \$no_file_gen,
216     "off"            => \$off_opt,
217     "on"             => \$on_opt,
218     "qemu|Q:s"       => \$qemu,
219     "qemu-append=s"  => \$qemu_append,
220     "qemu-flags|q=s" => \$qemu_flags_cmd,
221     "remote-cmd=s"   => sub { @remote_cmd = ($_[1]); },
222     "remote-expect=s"=> \$remote_expect,
223     "remote-expect-silent=s"=> sub { $remote_expect=$_[1]; $remote_expect_silent=1; },
224     "remote-expect-timeout=i"=> \$remote_expect_timeout,
225     "reset!"         => \$reset,
226     "reset-cmd=s"    => sub { @reset_cmd = ($_[1]); },
227     "reset-send=s"   => \$reset_send,
228     "rsync-flags=s"  => \$rsync_flags,
229     "scons:s"        => \$scons,
230     "scriptmod=s"    => \@scriptmod,
231     "send=s"         => \&handle_send,
232     "sendcont=s"     => \&handle_send,
233     "serial|s:s"     => \$serial,
234     "server:s"       => \$server,
235     "ssh:s"          => \&handle_novaboot_server,
236     "strip-rom"      => sub { $rom_prefix = ''; },
237     "stty=s"         => \$stty,
238     "tftp"           => \$tftp,
239     "tftp-port=i"    => \$tftp_port,
240     "no-uboot"       => sub { undef $uboot; },
241     "h"              => \$help,
242     "help"           => \$man,
243     );
244
245 sub handle_novaboot_server
246 {
247     my ($n, $val) = @_;
248     my $xdg_runtime_dir = $ENV{XDG_RUNTIME_DIR} || '/var/run';
249     my $ssh_ctl_path = "${xdg_runtime_dir}/novaboot$$";
250
251     @remote_cmd = ('ssh', '-tt', '-M', '-S', $ssh_ctl_path, $val, 'console');
252     $remote_expect = "novaboot-shell: Connected";
253     $server = "$val:";
254     $rsync_flags = "--rsh='ssh -S \'${ssh_ctl_path}\''";
255     ($grub_prefix = $val) =~ s|(.*)@.*|\/$1\/| if index($val, '@') != -1;
256     @reset_cmd = ('ssh', '-tt', '-S', $ssh_ctl_path, $val, 'reset');
257
258     $target_power_off = sub { system_verbose('ssh', '-tt', '-S', $ssh_ctl_path, $val, 'off'); };
259     $target_power_on  = sub { system_verbose('ssh', '-tt', '-S', $ssh_ctl_path, $val, 'on'); };
260
261     my $cmd = "ssh '${val}' get-config";
262     print STDERR "novaboot: Running: $cmd\n";
263     my @target_config = qx($cmd  < /dev/null);
264     if ($?) { die("Cannot get target configuration from the server"); }
265     printf "novaboot: Received configuration from the server:%s\n", (!@target_config) ? " empty" : "";
266     foreach (@target_config) { chomp; print "  $_\n"; }
267
268     my $p = Getopt::Long::Parser->new;
269     $p->configure(qw/no_ignore_case no_pass_through/);
270     $p->getoptionsfromarray(\@target_config, %opt_spec_safe) or die("Error processing configuration from the server");
271
272     if (scalar @target_config) { die "Unsuported configuration received from the server: ".join(", ", @target_config); }
273 }
274
275 # First process target options
276 {
277     my $t = defined($explicit_target) ? $explicit_target : $CFG::default_target;
278     my @target_expanded;
279     Getopt::Long::Configure(qw/no_ignore_case pass_through/);
280     while ($t) {
281         exists $CFG::targets{$t} or die("Unknown target '$t' (valid targets are: ".join(", ", sort keys(%CFG::targets)).")");
282
283         undef $explicit_target;
284         my ($ret, $remaining_args) = GetOptionsFromString ($CFG::targets{$t}, ("target|t=s" => \$explicit_target));
285         if (!$ret) { die "Error parsing target $t option"; }
286         push(@target_expanded, @$remaining_args);
287         $t = $explicit_target;
288     }
289
290     my @args = (@target_expanded, @ARGV);
291     print STDERR "novaboot: Effective options: @args\n";
292
293     Getopt::Long::Configure(qw/no_ignore_case no_pass_through/);
294     GetOptionsFromArray(\@target_expanded, %opt_spec) or die ("Error in target definition");
295 }
296
297 # Then process other command line options - some of them may override
298 # what was specified by the target
299 GetOptions %opt_spec or die("Error in command line arguments");
300 pod2usage(1) if $help;
301 pod2usage(-exitstatus => 0, -verbose => 2) if $man;
302
303 ### Dump sanitized configuration (if requested)
304
305 if ($dump_config) {
306     use Data::Dumper;
307     $Data::Dumper::Indent=1;
308     print "# This file is in perl syntax.\n";
309     foreach my $key(sort(keys(%CFG::))) { # See "Symbol Tables" in perlmod(1)
310         if (defined ${$CFG::{$key}}) { print Data::Dumper->Dump([${$CFG::{$key}}], ["*$key"]); }
311         if (        @{$CFG::{$key}}) { print Data::Dumper->Dump([\@{$CFG::{$key}}], ["*$key"]); }
312         if (        %{$CFG::{$key}}) { print Data::Dumper->Dump([\%{$CFG::{$key}}], ["*$key"]); }
313     }
314     print "1;\n";
315     exit;
316 }
317
318 ### Sanitize configuration
319
320 if ($interactive && !-t STDIN) {
321     die("novaboot: Interactive mode not supported when not on terminal");
322 }
323
324 if (defined $config_name_opt && scalar(@ARGV) > 1) { die "You cannot use --name with multiple scripts"; }
325
326 if ($ider) {
327     $iso_image //= ''; # IDE-R needs an ISO image
328     if (!defined $amt) { die "Error: --ider requires --amt"; }
329 }
330
331 {
332     my %input_opts = ('--iprelay'    => \$iprelay,
333                       '--iprelay-cmd'=> \$iprelay_cmd,
334                       '--serial'     => \$serial,
335                       '--remote-cmd' => (@remote_cmd ? \$remote_cmd[0] : undef),
336                       '--amt'        => \$amt);
337     my @opts = grep(defined(${$input_opts{$_}}) , keys %input_opts);
338
339     die("novaboot: More than one target connection option: ".join(', ', @opts)) if scalar @opts > 1;
340 }
341
342 # Default options
343 if (defined $serial) {
344     $serial ||= "/dev/ttyUSB0";
345     $ENV{NB_SERIAL} = $serial;
346 }
347 if (defined $grub_config) { $grub_config ||= "menu.lst"; }
348 if (defined $grub2_config) { $grub2_config ||= "grub.cfg"; }
349
350 ## Parse the novaboot script(s)
351 my @scripts;
352 my $file;
353 my $EOF;
354 my $last_fn = '';
355 my ($modules, $variables, $generated, $copy, $chainload, $continuation) = ([], {}, [], []);
356 my $skip_reading = defined($on_opt) || defined($off_opt);
357 while (!$skip_reading && ($_ = <>)) {
358     if ($ARGV ne $last_fn) { # New script
359         die "Missing EOF in $last_fn" if $file;
360         die "Unfinished line in $last_fn" if $continuation;
361         $last_fn = $ARGV;
362         push @scripts, { 'filename' => $ARGV,
363                          'modules' => $modules = [],
364                          'variables' => $variables = {},
365                          'generated' => $generated = [],
366                          'copy' => $copy = [],
367                          'chainload' => $chainload = [],
368         };
369
370     }
371     chomp();
372     next if /^#/ || /^\s*$/;    # Skip comments and empty lines
373
374     $_ =~ s/^[[:space:]]*// if ($continuation);
375
376     if (/\\$/) {                # Line continuation
377         $continuation .= substr($_, 0, length($_)-1);
378         next;
379     }
380
381     if ($continuation) {        # Last continuation line
382         $_ = $continuation . $_;
383         $continuation = '';
384     }
385
386     foreach my $mod(@scriptmod) { eval $mod; }
387
388     if ($file && $_ eq $EOF) {  # Heredoc end
389         undef $file;
390         next;
391     }
392     if ($file) {                # Heredoc content
393         push @{$file}, "$_\n";
394         next;
395     }
396     if (/^([A-Z_]+)=(.*)$/) {   # Internal variable
397         $$variables{$1} = $2;
398         push(@exiton, $2) if ($1 eq "EXITON");
399         $interaction = $2 if ($1 eq "INTERACTION");
400         next;
401     }
402     sub process_load_copy($) {
403         die("novaboot: '$last_fn' line $.: Missing file name\n") unless /^[^ <]+/;
404         if (/^([^ ]*)(.*?)[[:space:]]*<<([^ ]*)$/) { # Heredoc start
405             $file = [];
406             push @$generated, {filename => $1, content => $file};
407             $EOF = $3;
408             return "$1$2";
409         }
410         if (/^([^ ]*)(.*?)[[:space:]]*< ?(.*)$/) { # Command substitution
411             push @$generated, {filename => $1, command => $3};
412             return "$1$2";
413         }
414         return $_;
415     }
416     if (s/^load *//) {          # Load line
417         push @$modules, process_load_copy($_);
418         next;
419     }
420     if (s/^copy *//) {          # Copy line
421         push @$copy, process_load_copy($_);
422         next;
423     }
424     if (s/^chld *//) {          # Chainload line
425         push @$chainload, process_load_copy($_);
426         next;
427     }
428     if (/^run (.*)/) {          # run line
429         push @$generated, {command => $1};
430         next;
431     }
432     if (/^uboot(?::([0-9]+)s)? +(< *)?(.*)/) {  # uboot line
433         # TODO: If U-Boot supports some interactive menu, it might
434         # make sense to store uboot lines per novaboot script.
435         my ($timeout, $redir, $string, $dest) = ($1, $2, $3);
436         if ($string =~ /(.*) *> *(.*)/) {
437             $string = $1;
438             $dest = $2;
439         }
440         push @uboot_init, { command => $redir ? "" : $string,
441                             system =>  $redir ? $string : "",
442                             timeout => $timeout,
443                             dest => $dest,
444         };
445         next;
446     }
447
448     die("novaboot: Cannot parse script '$last_fn' line $.. Didn't you forget 'load' keyword?\n");
449 }
450 # use Data::Dumper;
451 # print Dumper(\@scripts);
452
453 foreach my $script (@scripts) {
454     $modules = $$script{modules};
455     @$modules[0] =~ s/^[^ ]*/$kernel_opt/ if $kernel_opt;
456     @$modules[0] .= ' ' . join(' ', @append) if @append;
457
458     my $kernel;
459     if (exists $variables->{KERNEL}) {
460         $kernel = $variables->{KERNEL};
461     } else {
462         if ($CFG::hypervisor) {
463             $kernel = $CFG::hypervisor . " ";
464             if (exists $variables->{HYPERVISOR_PARAMS}) {
465                 $kernel .= $variables->{HYPERVISOR_PARAMS};
466             } else {
467                 $kernel .= $CFG::hypervisor_params;
468             }
469         }
470     }
471     @$modules = ($kernel, @$modules) if $kernel;
472     @$modules = (@chainloaders, @$modules);
473     @$modules = ("bin/boot/bender", @$modules) if ($bender || defined $ENV{'NOVABOOT_BENDER'});
474 }
475
476 if ($dump_opt) {
477     foreach my $script (@scripts) {
478         print join("\n", @{$$script{modules}})."\n";
479     }
480     exit(0);
481 }
482
483 ## Helper functions
484
485 sub generate_configs($$$) {
486     my ($base, $generated, $filename) = @_;
487     if ($base) { $base = "$base/"; };
488     foreach my $g(@$generated) {
489       if (exists $$g{content}) {
490         my $config = $$g{content};
491         my $fn = $$g{filename};
492         open(my $f, '>', $fn) || die("$fn: $!");
493         map { s|\brom://([^ ]*)|$rom_prefix$base$1|g; print $f "$_"; } @{$config};
494         close($f);
495         print STDERR "novaboot: Created $fn\n";
496       } elsif (exists $$g{command} && ! $no_file_gen) {
497         $ENV{SRCDIR} = dirname(File::Spec->rel2abs( $filename, $invocation_dir ));
498         if (exists $$g{filename}) {
499             system_verbose("( $$g{command} ) > $$g{filename}");
500         } else {
501             system_verbose($$g{command});
502         }
503       }
504     }
505 }
506
507 sub generate_grub_config($$$$;$)
508 {
509     my ($filename, $title, $base, $modules_ref, $preamble) = @_;
510     if ($base) { $base = "$base/"; };
511     open(my $fg, '>', $filename) or die "$filename: $!";
512     print $fg "$preamble\n" if $preamble;
513     print $fg "title $title\n" if $title;
514     #print $fg "root $base\n"; # root doesn't really work for (nd)
515     my $first = 1;
516     foreach (@$modules_ref) {
517         if ($first) {
518             $first = 0;
519             my ($kbin, $kcmd) = split(' ', $_, 2);
520             $kcmd = '' if !defined $kcmd;
521             print $fg "kernel ${base}$kbin $kcmd\n";
522         } else {
523             s|\brom://([^ ]*)|$rom_prefix$base$1|g; # Translate rom:// files - needed for vdisk parameter of sigma0
524             print $fg "module $base$_\n";
525         }
526     }
527     close($fg);
528     print("novaboot: Created $builddir/$filename\n");
529     return $filename;
530 }
531
532 sub generate_syslinux_config($$$$)
533 {
534     my ($filename, $title, $base, $modules_ref) = @_;
535     if ($base && $base !~ /\/$/) { $base = "$base/"; };
536     open(my $fg, '>', $filename) or die "$filename: $!";
537     print $fg "LABEL $title\n";
538     #TODO print $fg "MENU LABEL $human_readable_title\n";
539
540     my ($kbin, $kcmd) = split(' ', @$modules_ref[0], 2);
541
542     if (system("file $kbin|grep 'Linux kernel'") == 0) {
543         my $initrd = @$modules_ref[1];
544         die('To many "load" lines for Linux kernel') if (scalar @$modules_ref > 2);
545         print $fg "LINUX $base$kbin\n";
546         print $fg "APPEND $kcmd\n";
547         print $fg "INITRD $base$initrd\n";
548     } else {
549         print $fg "KERNEL mboot.c32\n";
550         my @append;
551         foreach (@$modules_ref) {
552             s|\brom://([^ ]*)|$rom_prefix$base$1|g; # Translate rom:// files - needed for vdisk parameter of sigma0
553             push @append, "$base$_";
554             print $fg "APPEND ".join(' --- ', @append)."\n";
555         }
556     }
557     #TODO print $fg "TEXT HELP\n";
558     #TODO print $fg "some help here\n";
559     #TODO print $fg "ENDTEXT\n";
560     close($fg);
561     print("novaboot: Created $builddir/$filename\n");
562     return $filename;
563 }
564
565 sub generate_grub2_config($$$$;$$)
566 {
567     my ($filename, $title, $base, $modules_ref, $preamble, $prolog) = @_;
568     if ($base && substr($base,-1,1) ne '/') { $base = "$base/"; };
569     open(my $fg, '>', $filename) or die "$filename: $!";
570     print $fg "$preamble\n" if $preamble;
571     $title ||= 'novaboot';
572     print $fg "menuentry $title {\n";
573     print $fg "$prolog\n" if $prolog;
574     my $first = 1;
575     foreach (@$modules_ref) {
576         if ($first) {
577             $first = 0;
578             my ($kbin, $kcmd) = split(' ', $_, 2);
579             $kcmd = '' if !defined $kcmd;
580             print $fg "  multiboot ${base}$kbin $kcmd\n";
581         } else {
582             my @args = split;
583             # GRUB2 doesn't pass filename in multiboot info so we have to duplicate it here
584             $_ = join(' ', ($args[0], @args));
585             s|\brom://|$rom_prefix|g; # We do not need to translate path for GRUB2
586             print $fg "  module $base$_\n";
587         }
588     }
589     print $fg "}\n";
590     close($fg);
591     print("novaboot: Created $builddir/$filename\n");
592     return $filename;
593 }
594
595 sub generate_pulsar_config($$$)
596 {
597     my ($filename, $modules_ref, $chainload_ref) = @_;
598     open(my $fg, '>', $filename) or die "$filename: $!";
599     print $fg "root $pulsar_root\n" if defined $pulsar_root;
600     if (scalar(@$chainload_ref) > 0) {
601         print $fg "chld $$chainload_ref[0]\n";
602     } else {
603         my $first = 1;
604         my ($kbin, $kcmd);
605         foreach (@$modules_ref) {
606             if ($first) {
607                 $first = 0;
608                 ($kbin, $kcmd) = split(' ', $_, 2);
609                 $kcmd = '' if !defined $kcmd;
610             } else {
611                 my @args = split;
612                 s|\brom://|$rom_prefix|g;
613                 print $fg "load $_\n";
614             }
615         }
616         # Put kernel as last - this is needed for booting Linux and has no influence on non-Linux OSes
617         print $fg "exec $kbin $kcmd\n";
618     }
619     close($fg);
620     print("novaboot: Created $builddir/$filename\n");
621     return $filename;
622 }
623
624 sub shell_cmd_string(@)
625 {
626     if (scalar(@_) == 1) {
627         return $_[0];
628     } else {
629         return join(' ', map((/^[-_=a-zA-Z0-9\/\.\+]+$/ ? "$_" : "'$_'"), @_));
630     }
631 }
632
633 sub exec_verbose(@)
634 {
635     print STDERR "novaboot: Running: ".shell_cmd_string(@_)."\n";
636     exec(@_);
637     exit(1); # should not be reached
638 }
639
640 sub system_verbose
641 {
642     print STDERR "novaboot: Running: ".shell_cmd_string(@_)."\n";
643     my $ret = system(@_);
644     if ($ret & 0x007f) { die("Command terminated by a signal"); }
645     if ($ret & 0xff00) {die("Command exit with non-zero exit code"); }
646     if ($ret) { die("Command failure $ret"); }
647 }
648
649 sub trim($) {
650     my ($str) = @_;
651     $str =~ s/^\s+|\s+$//g;
652     return $str
653 }
654
655 ## WvTest headline
656
657 if (exists $variables->{WVDESC}) {
658     print STDERR "Testing \"$variables->{WVDESC}\" in $last_fn:\n";
659 } elsif ($last_fn =~ /\.wv$/) {
660     print STDERR "Testing \"all\" in $last_fn:\n";
661 }
662
663 ## Connect to the target and check whether it is not occupied
664
665 # We have to do this before file generation phase, because file
666 # generation is intermixed with file deployment phase and we want to
667 # check whether the target is not used by somebody else before
668 # deploying files. Otherwise, we may rewrite other user's files on a
669 # boot server.
670
671 my $exp; # Expect object to communicate with the target over serial line
672
673 sub kill_exp_on_signal() {
674     # Sometimes, under unclear circumstances (e.g. when running under
675     # both Jenkins and Robotframework), novaboot does not terminate
676     # console command when killed. The console is then blocked by the
677     # stale process forever. Theoretically, this should not happen,
678     # because when novaboot is killed, console command's controlling
679     # terminal sends SIGHUP to the console command and the command
680     # should terminate. It seems that at least SSH sometimes ignores
681     # HUP and does not terminate. The code below seems to work around
682     # that problem by killing the process immediately with SIGTERM,
683     # which is not ignored.
684
685     sub kill_console { kill TERM => $exp->pid if $exp->pid; die "Terminated by SIG$_[0]"; };
686
687     # For our Jenkins/Robotframework use case, it was sufficient to
688     # handle the TERM signal, but to be on the safe side, we also
689     # catch other signals.
690     $SIG{TERM} = \&kill_console;
691     $SIG{HUP} = \&kill_console;
692     $SIG{INT} = \&kill_console;
693     $SIG{QUIT} = \&kill_console;
694 }
695
696
697 my ($amt_user, $amt_password, $amt_host, $amt_port);
698
699 if (defined $iprelay || defined $iprelay_cmd) {
700     if (defined $iprelay) {
701         my $IPRELAY;
702         $iprelay =~ /([.0-9]+)(:([0-9]+))?/;
703         my $addr = $1;
704         my $port = $3 || 23;
705         my $paddr   = sockaddr_in($port, inet_aton($addr));
706         my $proto   = getprotobyname('tcp');
707         socket($IPRELAY, PF_INET, SOCK_STREAM, $proto)  || die "socket: $!";
708         print STDERR "novaboot: Connecting to IP relay... ";
709         connect($IPRELAY, $paddr)    || die "connect: $!";
710         print STDERR "done\n";
711         $exp = Expect->init(\*$IPRELAY);
712         $exp->log_stdout(1);
713     }
714     if (defined $iprelay_cmd) {
715         print STDERR "novaboot: Running: $iprelay_cmd\n";
716         $exp = new Expect;
717         $exp->raw_pty(1);
718         $exp->spawn($iprelay_cmd);
719         kill_exp_on_signal();
720     }
721
722     while (1) {
723         print $exp "\xFF\xF6";  # AYT
724         my $connected = $exp->expect(20, # Timeout in seconds
725                                      '<iprelayd: connected>',
726                                      '-re', '<WEB51 HW[^>]*>')
727             || die "iprelay connection: " . ($! || "timeout");
728         last if $connected;
729     }
730
731     sub relaycmd($$) {
732         my ($relay, $onoff) = @_;
733         die unless ($relay == 1 || $relay == 2);
734
735         my $cmd = ($relay == 1 ? 0x5 : 0x6) | ($onoff ? 0x20 : 0x10);
736         return "\xFF\xFA\x2C\x32".chr($cmd)."\xFF\xF0";
737     }
738
739     sub relayconf($$) {
740         my ($relay, $onoff) = @_;
741         die unless ($relay == 1 || $relay == 2);
742         my $cmd = ($relay == 1 ? 0xdf : 0xbf) | ($onoff ? 0x00 : 0xff);
743         return "\xFF\xFA\x2C\x97".chr($cmd)."\xFF\xF0";
744     }
745
746     sub relay($$;$) {
747         my ($relay, $onoff, $can_giveup) = @_;
748         my $confirmation = '';
749         $exp->log_stdout(0);
750         print $exp relaycmd($relay, $onoff);
751         my $confirmed = $exp->expect(20, # Timeout in seconds
752                                      relayconf($relay, $onoff))
753             || die "iprelay command: " . ($! || "timeout");
754         if (!$confirmed) {
755             if ($can_giveup) {
756                 print("Relay confirmation timeout - ignoring\n");
757             } else {
758                 die "Relay confirmation timeout";
759             }
760         }
761         $exp->log_stdout(1);
762     }
763
764     $target_reset = sub {
765         relay(2, 1, 1); # Reset the machine
766         usleep(100000);
767         relay(2, 0);
768     };
769
770     $target_power_off = sub {
771         relay(1, 1);            # Press power button
772         usleep(6000000);        # Long press to switch off
773         relay(1, 0);
774     };
775
776     $target_power_on = sub {
777         relay(1, 1);            # Press power button
778         usleep(100000);         # Short press
779         relay(1, 0);
780     };
781 }
782 elsif ($serial) {
783     my $CONN;
784     system_verbose("stty -F $serial $stty");
785     open($CONN, "+<", $serial) || die "open $serial: $!";
786     $exp = Expect->init(\*$CONN);
787 }
788 elsif (@remote_cmd) {
789     print STDERR "novaboot: Running: ".shell_cmd_string(@remote_cmd)."\n";
790     $exp = Expect->spawn(@remote_cmd);
791     kill_exp_on_signal();
792 }
793 elsif (defined $amt) {
794     require LWP::UserAgent;
795     require LWP::Authen::Digest;
796
797     sub genXML {
798         my ($host, $username, $password, $schema, $className, $pstate) = @_;
799         #AMT numbers for PowerStateChange (MNI => bluescreen on windows;-)
800         my %pstates = ("on"        => 2,
801                        "standby"   => 4,
802                        "hibernate" => 7,
803                        "off"       => 8,
804                        "reset"     => 10,
805                        "MNI"       => 11);
806         return <<END;
807                 <s:Envelope xmlns:s="http://www.w3.org/2003/05/soap-envelope" xmlns:a="http://schemas.xmlsoap.org/ws/2004/08/addressing" xmlns:w="http://schemas.dmtf.org/wbem/wsman/1/wsman.xsd">
808                 <s:Header><a:To>http://$host:16992/wsman</a:To>
809                 <w:ResourceURI s:mustUnderstand="true">$schema</w:ResourceURI>
810                 <a:ReplyTo><a:Address s:mustUnderstand="true">http://schemas.xmlsoap.org/ws/2004/08/addressing/role/anonymous</a:Address></a:ReplyTo>
811                 <a:Action s:mustUnderstand="true">$schema$className</a:Action>
812                 <w:MaxEnvelopeSize s:mustUnderstand="true">153600</w:MaxEnvelopeSize>
813                 <a:MessageID>uuid:709072C9-609C-4B43-B301-075004043C7C</a:MessageID>
814                 <w:Locale xml:lang="en-US" s:mustUnderstand="false" />
815                 <w:OperationTimeout>PT60.000S</w:OperationTimeout>
816                 <w:SelectorSet><w:Selector Name="Name">Intel(r) AMT Power Management Service</w:Selector></w:SelectorSet>
817                 </s:Header><s:Body>
818                 <p:RequestPowerStateChange_INPUT xmlns:p="http://schemas.dmtf.org/wbem/wscim/1/cim-schema/2/CIM_PowerManagementService">
819                 <p:PowerState>$pstates{$pstate}</p:PowerState>
820                 <p:ManagedElement><a:Address>http://$host:16992/wsman</a:Address>
821                 <a:ReferenceParameters><w:ResourceURI>http://schemas.dmtf.org/wbem/wscim/1/cim-schema/2/CIM_ComputerSystem</w:ResourceURI>
822                 <w:SelectorSet><w:Selector Name="Name">ManagedSystem</w:Selector></w:SelectorSet>
823                 </a:ReferenceParameters></p:ManagedElement>
824                 </p:RequestPowerStateChange_INPUT>
825                 </s:Body></s:Envelope>
826 END
827     }
828
829     sub sendPOST {
830         my ($host, $username, $password, $content) = @_;
831
832         my $ua = LWP::UserAgent->new();
833         $ua->agent("novaboot");
834
835         my $req = HTTP::Request->new(POST => "http://$host:16992/wsman");
836         my $res = $ua->request($req);
837         die ("Unexpected AMT response: " . $res->status_line) unless $res->code == 401;
838
839         my ($realm) = $res->header("WWW-Authenticate") =~ /Digest realm="(.*?)"/;
840         $ua->credentials("$host:16992", $realm, $username => $password);
841
842         # Create a request
843         $req = HTTP::Request->new(POST => "http://$host:16992/wsman");
844         $req->content_type('application/x-www-form-urlencoded');
845         $req->content($content);
846         $res = $ua->request($req);
847         die ("AMT power change request failed: " . $res->status_line) unless $res->is_success;
848         $res->content() =~ /<g:ReturnValue>(\d+)<\/g:ReturnValue>/;
849         return $1;
850     }
851
852     sub powerChange  {
853         my ($host, $username, $password, $pstate)=@_;
854         my $schema="http://schemas.dmtf.org/wbem/wscim/1/cim-schema/2/CIM_PowerManagementService";
855         my $className="/RequestPowerStateChange";
856         my $content = genXML($host, $username, $password ,$schema, $className, $pstate);
857         return sendPOST($host, $username, $password, $content);
858     }
859
860     ($amt_user,$amt_password,$amt_host,$amt_port) = ($amt =~ /(?:(.*?)(?::(.*))?@)?([^:]*)(?::([0-9]*))?/);;
861     $amt_user ||= "admin";
862     $amt_password ||= $ENV{'AMT_PASSWORD'} || die "AMT password not specified";
863     $amt_host || die "AMT host not specified";
864     $amt_port ||= 16994;
865
866
867     $target_power_off = sub {
868         $exp->close();
869         my $result = powerChange($amt_host,$amt_user,$amt_password, "off");
870         die "AMT power off failed (ReturnValue $result)" if $result != 0;
871     };
872
873     $target_power_on = sub {
874         my $result = powerChange($amt_host,$amt_user,$amt_password, "on");
875         die "AMT power on failed (ReturnValue $result)" if $result != 0;
876     };
877
878     $target_reset = sub {
879         my $result = powerChange($amt_host,$amt_user,$amt_password, "reset");
880         if ($result != 0) {
881             print STDERR "Warning: Cannot reset $amt_host, trying power on. ";
882             $result = powerChange($amt_host,$amt_user,$amt_password, "on");
883         }
884         die "AMT reset failed (ReturnValue $result)" if $result != 0;
885     };
886
887     my $cmd = "amtterm -u $amt_user -p $amt_password $amt_host $amt_port";
888     print STDERR "novaboot: Running: $cmd\n" =~ s/\Q$amt_password\E/???/r;
889     $exp = Expect->spawn($cmd);
890     $exp->expect(10, "RUN_SOL") || die "Expect for 'RUN_SOL': " . ($! || "timeout");
891 }
892
893
894 if ($remote_expect) {
895     $exp || die("No serial line connection");
896     my $log = $exp->log_stdout;
897     if (defined $remote_expect_silent) {
898         $exp->log_stdout(0);
899     }
900     $exp->expect($remote_expect_timeout >= 0 ? $remote_expect_timeout : undef,
901                  $remote_expect) || die "Expect for '$remote_expect':" . ($! || "timeout");;
902     if (defined $remote_expect_silent) {
903         $exp->log_stdout($log);
904         print $exp->after() if $log;
905     }
906 }
907
908 if (@reset_cmd) {
909     $target_reset = sub {
910         system_verbose(@reset_cmd);
911     };
912 }
913
914 if (defined $reset_send) {
915     $target_reset = sub {
916         $reset_send =~ s/\\n/\n/g;
917         $exp->send($reset_send);
918     };
919 }
920
921 if (defined $on_opt && defined $target_power_on) {
922     &$target_power_on();
923     exit;
924 }
925 if (defined $off_opt && defined $target_power_off) {
926     print STDERR "novaboot: Switching the target off...\n";
927     &$target_power_off();
928     exit;
929 }
930
931 $builddir ||= dirname(File::Spec->rel2abs( ${$scripts[0]}{filename})) if scalar @scripts;
932 if (defined $builddir) {
933     chdir($builddir) or die "Can't change directory to $builddir: $!";
934     print STDERR "novaboot: Entering directory `$builddir'\n";
935 } else {
936     $builddir = $invocation_dir;
937 }
938
939 ## File generation phase
940 my (%files_iso, $menu_iso, $filename);
941 my $config_name = '';
942 my $prefix = '';
943
944 foreach my $script (@scripts) {
945     $filename = $$script{filename};
946     $modules = $$script{modules};
947     $generated = $$script{generated};
948     $variables = $$script{variables};
949
950     ($config_name = $filename) =~ s#.*/##;
951     $config_name = $config_name_opt if (defined $config_name_opt);
952
953     if (exists $variables->{BUILDDIR}) {
954         $builddir = File::Spec->rel2abs($variables->{BUILDDIR});
955         chdir($builddir) or die "Can't change directory to $builddir: $!";
956         print STDERR "novaboot: Entering directory `$builddir'\n";
957     }
958
959     if ($grub_prefix) {
960         $prefix = $grub_prefix;
961         $prefix =~ s/\$NAME/$config_name/;
962         $prefix =~ s/\$BUILDDIR/$builddir/;
963     }
964     # TODO: use $grub_prefix as first parameter if some switch is given
965     generate_configs('', $generated, $filename);
966
967 ### Generate bootloader configuration files
968     my @bootloader_configs;
969     push @bootloader_configs, generate_grub_config($grub_config, $config_name, $prefix, $modules, $grub_preamble) if (defined $grub_config);
970     push @bootloader_configs, generate_grub2_config($grub2_config, $config_name, $prefix, $modules, $grub_preamble, $grub2_prolog) if (defined $grub2_config);
971     push @bootloader_configs, generate_pulsar_config('config-'.($pulsar||'novaboot'), $modules, $chainload) if (defined $pulsar);
972
973 ### Run scons or make
974     {
975         my @all;
976         push @all, @$modules;
977         push @all, @$copy;
978         push @all, @$chainload;
979         my @files = map({ ($file) = m/([^ ]*)/; $file; } @all);
980
981         # Filter-out generated files
982         my @to_build = grep({ my $file = $_; !scalar(grep($file eq ($$_{filename} || ''), @$generated)) } @files);
983
984         system_verbose($scons || $CFG::scons." ".join(" ", @to_build)) if (defined $scons);
985         system_verbose($make  || $CFG::make ." ".join(" ", @to_build)) if (defined $make);
986     }
987
988 ### Copy files (using rsync)
989     if (defined $server && !defined($gen_only)) {
990         (my $real_server = $server) =~ s/\$NAME/$config_name/;
991
992         my ($hostname, $path) = split(":", $real_server, 2);
993         if (! defined $path) {
994             $path = $hostname;
995             $hostname = "";
996         }
997         my $files = join(" ", map({ ($file) = m/([^ ]*)/; $file; } ( @$modules, @bootloader_configs, @$copy)));
998         map({ my $file = (split)[0]; die "$file: $!" if ! -f $file; } @$modules);
999         my $istty = -t STDOUT && ($ENV{'TERM'} || 'dumb') ne 'dumb';
1000         my $progress = $istty ? "--progress" : "";
1001         if ($files) {
1002             system_verbose("rsync $progress -RLp $rsync_flags $files $real_server");
1003             if ($server =~ m|/\$NAME$| && $concat) {
1004                 my $cmd = join("; ", map { "( cd $path/.. && cat */$_ > $_ )" } @bootloader_configs);
1005                 system_verbose($hostname ? "ssh $hostname '$cmd'" : $cmd);
1006             }
1007         }
1008     }
1009
1010 ### Prepare ISO image generation
1011     if (defined $iso_image) {
1012         generate_configs("(cd)", $generated, $filename);
1013         my $menu;
1014         generate_syslinux_config(\$menu, $config_name, "/", $modules);
1015         $menu_iso .= "$menu\n";
1016         map { ($file,undef) = split; $files_iso{$file} = 1; } @$modules;
1017     }
1018 }
1019
1020 ## Generate ISO image
1021 if (defined $iso_image) {
1022     system_verbose("mkdir -p isolinux");
1023
1024     my @files;
1025     if (-f '/usr/lib/ISOLINUX/isolinux.bin') {
1026         # Newer ISOLINUX version
1027         @files = qw(/usr/lib/ISOLINUX/isolinux.bin /usr/lib/syslinux/modules/bios/mboot.c32 /usr/lib/syslinux/modules/bios/libcom32.c32 /usr/lib/syslinux/modules/bios/menu.c32 /usr/lib/syslinux/modules/bios/ldlinux.c32);
1028     } else {
1029         # Older ISOLINUX version
1030         @files = qw(/usr/lib/syslinux/isolinux.bin /usr/lib/syslinux/mboot.c32 /usr/lib/syslinux/menu.c32);
1031     }
1032     system_verbose("cp @files isolinux");
1033     open(my $fh, ">isolinux/isolinux.cfg");
1034     if ($#scripts) {
1035         print $fh "TIMEOUT 50\n";
1036         print $fh "DEFAULT menu\n";
1037     } else {
1038         print $fh "DEFAULT $config_name\n";
1039     }
1040     print $fh "$menu_iso";
1041     close($fh);
1042
1043     my $files = join(" ", map("$_=$_", (keys(%files_iso), 'isolinux/isolinux.cfg', map(s|.*/|isolinux/|r, @files))));
1044     $iso_image ||= "$config_name.iso";
1045
1046     # Note: We use -U flag below to "Allow 'untranslated' filenames,
1047     # completely violating the ISO9660 standards". Without this
1048     # option, isolinux is not able to read files names for example
1049     # bzImage-3.0.
1050     system_verbose("$CFG::genisoimage -R -b isolinux/isolinux.bin -c isolinux/boot.cat -no-emul-boot -boot-load-size 4 -boot-info-table -hide-rr-moved -U -o $iso_image -graft-points $files");
1051     print("ISO image created: $builddir/$iso_image\n");
1052 }
1053
1054 exit(0) if defined $gen_only;
1055
1056 ## Boot the system using various methods and send serial output to stdout
1057
1058 if (scalar(@scripts) > 1 && ( defined $dhcp_tftp || defined $serial || defined $iprelay)) {
1059     die "You cannot do this with multiple scripts simultaneously";
1060 }
1061
1062 if ($variables->{WVTEST_TIMEOUT}) {
1063     print STDERR "wvtest: timeout ", $variables->{WVTEST_TIMEOUT}, "\n";
1064 }
1065
1066 ### Start in Qemu
1067
1068 if (defined $qemu) {
1069     # Qemu
1070     $qemu ||= $variables->{QEMU} || $CFG::qemu;
1071     my @qemu_flags = split(" ", $qemu);
1072     $qemu = shift(@qemu_flags);
1073
1074     @qemu_flags = split(/ +/, trim($variables->{QEMU_FLAGS})) if exists $variables->{QEMU_FLAGS};
1075     @qemu_flags = split(/ +/, trim($qemu_flags_cmd)) if $qemu_flags_cmd;
1076     push(@qemu_flags, split(/ +/, trim($qemu_append || '')));
1077
1078     if (defined $iso_image) {
1079         # Boot NOVA with grub (and test the iso image)
1080         push(@qemu_flags, ('-cdrom', $iso_image));
1081     } else {
1082         # Boot NOVA without GRUB
1083
1084         # Non-patched qemu doesn't like commas, but NUL can live with pluses instead of commans
1085         foreach (@$modules) {s/,/+/g;}
1086         generate_configs("", $generated, $filename);
1087
1088         if (scalar @$modules) {
1089             my ($kbin, $kcmd) = split(' ', shift(@$modules), 2);
1090             $kcmd = '' if !defined $kcmd;
1091             my $dtb;
1092             @$modules = map { if (/\.dtb$/) { $dtb=$_; (); } else { $_ } } @$modules;
1093             my $initrd = join ",", @$modules;
1094
1095             push(@qemu_flags, ('-kernel', $kbin, '-append', $kcmd));
1096             push(@qemu_flags, ('-initrd', $initrd)) if $initrd;
1097             push(@qemu_flags, ('-dtb', $dtb)) if $dtb;
1098         }
1099     }
1100     if (!grep /^-serial$/, @qemu_flags) {
1101         push(@qemu_flags,  qw(-serial stdio)); # Redirect serial output (for collecting test restuls)
1102     }
1103     unshift(@qemu_flags, ('-name', $config_name));
1104     print STDERR "novaboot: Running: ".shell_cmd_string($qemu, @qemu_flags)."\n";
1105     $exp = Expect->spawn(($qemu, @qemu_flags)) || die("exec() failed: $!");
1106 }
1107
1108 ### Local DHCPD and TFTPD
1109
1110 my ($dhcpd_pid, $tftpd_pid);
1111
1112 $tftp=1 if $tftp_port;
1113
1114 if (defined $dhcp_tftp)
1115 {
1116     generate_configs("(nd)", $generated, $filename);
1117     system_verbose('mkdir -p tftpboot');
1118     generate_grub_config("tftpboot/os-menu.lst", $config_name, "(nd)", \@$modules, "timeout 0");
1119     open(my $fh, '>', 'dhcpd.conf');
1120     my $mac = `cat /sys/class/net/$netif/address`;
1121     chomp $mac;
1122     print $fh "subnet 10.23.23.0 netmask 255.255.255.0 {
1123                       range 10.23.23.10 10.23.23.100;
1124                       filename \"bin/boot/grub/pxegrub.pxe\";
1125                       next-server 10.23.23.1;
1126 }
1127 host server {
1128         hardware ethernet $mac;
1129         fixed-address 10.23.23.1;
1130 }";
1131     close($fh);
1132     system_verbose("sudo ip a add 10.23.23.1/24 dev $netif;
1133             sudo ip l set dev $netif up;
1134             sudo touch dhcpd.leases");
1135
1136     # We run servers by forking ourselves, because the servers end up
1137     # in our process group and get killed by signals sent to the
1138     # process group (e.g. Ctrl-C on terminal).
1139     $dhcpd_pid = fork();
1140     exec_verbose("sudo dhcpd -d -cf dhcpd.conf -lf dhcpd.leases -pf dhcpd.pid") if ($dhcpd_pid == 0);
1141 }
1142
1143 if (defined $dhcp_tftp || defined $tftp) {
1144     $tftp_port ||= 69;
1145     # Unfortunately, tftpd requires root privileges even with
1146     # non-privileged (>1023) port due to initgroups().
1147     system_verbose("sudo in.tftpd --listen --secure -v -v -v --pidfile tftpd.pid  --address :$tftp_port $builddir");
1148
1149     # Kill server when we die
1150     $SIG{__DIE__} = sub { system_verbose('sudo pkill --pidfile=dhcpd.pid') if (defined $dhcp_tftp);
1151                           system_verbose('sudo pkill --pidfile=tftpd.pid'); };
1152
1153     # We have to kill tftpd explicitely, because it is not in our process group
1154     $SIG{INT} = sub { system_verbose('sudo pkill --pidfile=tftpd.pid'); exit(0); };
1155 }
1156
1157 ### AMT IDE-R
1158 if (defined $ider) {
1159     my $ider_cmd= "amtider -c $iso_image -u $amt_user -p $amt_password $amt_host $amt_port"  ;
1160     print STDERR "novaboot: Running: $ider_cmd\n" =~ s/\Q$amt_password\E/???/r;
1161     my $ider_pid = fork();
1162     if ($ider_pid == 0) {
1163         exec($ider_cmd);
1164         die "IDE redirection failed";
1165     }
1166     # FIXME: This collides with --tftp option. Hopefully, nobody needs
1167     # to use both simultaneously.
1168     $SIG{__DIE__} = sub { system_verbose('kill $ider_pid'); };
1169 }
1170
1171 ### Reset target (IP relay, AMT, ...)
1172
1173 if (defined $target_reset && $reset) {
1174     print STDERR "novaboot: Resetting the test box... ";
1175     &$target_reset();
1176     print STDERR "done\n";
1177     if (defined $exp) {
1178         # We don't want to output anything printed by the target
1179         # before reset so we clear the buffers now. This is, however,
1180         # not ideal because we may loose some data that were sent
1181         # after the reset. If this is a problem, one should reset and
1182         # connect to serial line in atomic manner. For example, if
1183         # supported by hardware, use --remote-cmd 'sterm -d ...' and
1184         # do not use separate --reset-cmd.
1185         my $log = $exp->log_stdout;
1186         $exp->log_stdout(0);
1187         $exp->expect(0); # Read data from target
1188         $exp->clear_accum();    # Clear the read data
1189         $exp->log_stdout($log);
1190     }
1191 }
1192
1193 ### U-boot conversation
1194 if (defined $uboot) {
1195     my $uboot_prompt = $uboot || '=> ';
1196     print STDERR "novaboot: Waiting for U-Boot prompt...\n";
1197     $exp || die("No serial line connection");
1198     $exp->log_stdout(1);
1199     #$exp->exp_internal(1);
1200     $exp->expect(20,
1201                  [qr/Hit any key to stop autoboot:/, sub {
1202                      $exp->send($uboot_stop_key // "\n");
1203                      exp_continue; }],
1204                  $uboot_prompt) || die "No U-Boot prompt deteceted";
1205     foreach my $cmdspec (@uboot_init) {
1206         my ($cmd, $timeout);
1207         die "Internal error - please report a bug" unless ref($cmdspec) eq "HASH";
1208
1209         if ($cmdspec->{system}) {
1210             $cmd = `$cmdspec->{system}`;
1211         } else {
1212             $cmd = $cmdspec->{command};
1213         }
1214         $timeout = $cmdspec->{timeout} // 10;
1215
1216         if ($cmd =~ /\$NB_MYIP/) {
1217             my $ip = (grep /inet /, `ip addr show $netif`)[0] || die "Problem determining IP address of $netif";
1218             $ip =~ s/\s*inet ([0-9.]*).*/$1/;
1219             $cmd =~ s/\$NB_MYIP/$ip/g;
1220         }
1221         if ($cmd =~ /\$NB_PREFIX/) {
1222             my $p = $prefix;
1223             $p =~ s|/*$||;
1224             $cmd =~ s/\$NB_PREFIX/$p/g;
1225         }
1226         chomp($cmd);
1227         $exp->send("$cmd\n");
1228
1229         my ($matched_pattern_position, $error,
1230             $successfully_matching_string,
1231             $before_match, $after_match) =
1232                 $exp->expect($timeout, $uboot_prompt);
1233         die "No U-Boot prompt: $error" if $error;
1234
1235         if ($cmdspec->{dest}) {
1236             open(my $fh, ">", $cmdspec->{dest}) or die "Cannot open '$cmdspec->{dest}': $!";
1237             print $fh $before_match;
1238             close($fh);
1239         }
1240     }
1241
1242     # Load files if there are some load lines in the script
1243     if (scalar(@$modules) > 0  && !$variables->{NO_BOOT}) {
1244         my ($kbin, $kcmd) = split(' ', shift(@$modules), 2);
1245         my $dtb;
1246         @$modules = map { if (/\.dtb$/) { $dtb=$_; (); } else { $_ } } @$modules;
1247         my $initrd = shift @$modules;
1248
1249         if (defined $kbin) {
1250             die "No '--uboot-addr kernel' given" unless $uboot_addr{kernel};
1251             $exp->send("tftpboot $uboot_addr{kernel} $prefix$kbin\n");
1252             $exp->expect(15,
1253                          [qr/##/, sub { exp_continue; }],
1254                          $uboot_prompt) || die "Kernel load: " . ($! || "timeout");
1255         }
1256         if (defined $dtb) {
1257             die "No '--uboot-addr fdt' given" unless $uboot_addr{fdt};
1258             $exp->send("tftpboot $uboot_addr{fdt} $prefix$dtb\n");
1259             $exp->expect(15,
1260                          [qr/##/, sub { exp_continue; }],
1261                          $uboot_prompt) || die "Device tree load: " . ($! || "timeout");
1262         } else  {
1263             $uboot_addr{fdt} = '';
1264         }
1265         if (defined $initrd) {
1266             die "No '--uboot-addr ramdisk' given" unless $uboot_addr{ramdisk};
1267             $exp->send("tftpboot $uboot_addr{ramdisk} $prefix$initrd\n");
1268             $exp->expect(15,
1269                          [qr/##/, sub { exp_continue; }],
1270                          $uboot_prompt) || die "Initrd load: " . ($! || "timeout");
1271         } else {
1272             $uboot_addr{ramdisk} = '-';
1273         }
1274
1275         $kcmd //= '';
1276         $exp->send("setenv bootargs $kcmd\n");
1277         $exp->expect(5, $uboot_prompt)  || die "U-Boot prompt: " . ($! || "timeout");
1278
1279     }
1280     $uboot_cmd //= $variables->{UBOOT_CMD} // 'bootm $kernel_addr $ramdisk_addr $fdt_addr';
1281     if (!$variables->{NO_BOOT} && $uboot_cmd ne '') {
1282         $uboot_cmd =~ s/\$kernel_addr/$uboot_addr{kernel}/g;
1283         $uboot_cmd =~ s/\$ramdisk_addr/$uboot_addr{ramdisk}/g;
1284         $uboot_cmd =~ s/\$fdt_addr/$uboot_addr{fdt}/g;
1285
1286         $exp->send($uboot_cmd . "\n");
1287         $exp->expect(5, "\n")  || die "U-Boot command: " . ($! || "timeout");
1288     }
1289 }
1290
1291 ### Serial line interaction
1292 if ($interaction && defined $exp) {
1293     # Serial line of the target is available
1294     my $interrupt = 'Ctrl-C';
1295     if ($interactive && !@exiton) {
1296         $interrupt = '"~~."';
1297     }
1298     print STDERR "novaboot: Serial line interaction (press $interrupt to interrupt)...\n";
1299     $exp->log_stdout(1);
1300     if (@exiton) {
1301         $exp->expect($exiton_timeout, @expect_raw, @exiton) || die("exiton: " . ($! || "timeout"));
1302     } else {
1303         my @inputs = ($exp);
1304         my $infile = new IO::File;
1305         $infile->IO::File::fdopen(*STDIN,'r');
1306         my $in_object = Expect->exp_init($infile);
1307         $in_object->set_group($exp);
1308
1309         if ($interactive) {
1310             $in_object->set_seq('~~\.', sub { print STDERR "novaboot: Escape sequence detected\r\n"; undef; });
1311             $in_object->manual_stty(0);   # Use raw terminal mode
1312         } else {
1313             $in_object->manual_stty(1);   # Do not modify terminal settings
1314         }
1315         push(@inputs, $in_object);
1316         #use Data::Dumper;
1317         #print Dumper(\@expect_raw);
1318         $exp->expect(undef, @expect_raw) if @expect_raw;
1319
1320         $^W = 0; # Suppress Expect warning: handle id(3) is not a tty. Not changing mode at /usr/share/perl5/Expect.pm line 393, <> line 8.
1321         Expect::interconnect(@inputs) unless defined($exp->exitstatus);
1322         $^W = 1;
1323     }
1324 }
1325
1326 # When exp-spawned command ignores SIGHUP, Expect waits 5 seconds
1327 # before killing it. We kill it by SIGTERM immediately.
1328 kill TERM => $exp->pid if defined $exp && $exp->pid;
1329
1330 ## Kill dhcpc or tftpd
1331 if (defined $dhcp_tftp || defined $tftp) {
1332     die("novaboot: This should kill servers on background\n");
1333 }
1334
1335 # Always finish novaboot output with newline
1336 print "\n" if $final_eol;
1337
1338 ## Documentation
1339
1340 =encoding utf8
1341
1342 =head1 NAME
1343
1344 novaboot - Boots a locally compiled operating system on a remote
1345 target or in qemu
1346
1347 =head1 SYNOPSIS
1348
1349 B<novaboot> --help
1350
1351 B<novaboot> [option]... [--] script...
1352
1353 B<./script> [option]...
1354
1355 =head1 DESCRIPTION
1356
1357 Novaboot makes booting of a locally compiled operating system (OS)
1358 (e.g. NOVA or Linux) on remote targets as simple as running a program
1359 locally. It automates things like copying OS images to a TFTP server,
1360 generation of bootloader configuration files, resetting of target
1361 hardware or redirection of target's serial line to stdin/out. Novaboot
1362 is highly configurable and makes it easy to boot a single image on
1363 different targets or different images on a single target.
1364
1365 Novaboot operation is controlled by configuration files, command line
1366 options and by a so-called novaboot script, which can be thought as a
1367 generalization of bootloader configuration files (see L</"NOVABOOT
1368 SCRIPT SYNTAX">). The typical way of using novaboot is to make the
1369 novaboot script executable and set its first line to I<#!/usr/bin/env
1370 novaboot>. Then, booting a particular OS configuration becomes the
1371 same as executing a local program â€“ the novaboot script.
1372
1373 Novaboot uses configuration files to, among other things, define
1374 command line options needed for different targets. Users typically use
1375 only the B<-t>/B<--target> command line option to select the target.
1376 Internally, this option expands to the pre-configured options.
1377 Novaboot searches configuration files at multiple places, which allows
1378 having per-system, per-user or per-project configurations.
1379 Configuration file syntax is described in section L</"CONFIGURATION
1380 FILES">.
1381
1382 =head2 Simple examples of using C<novaboot>:
1383
1384 To boot Linux (files F<bzImage> and F<rootfs.cpio> in current
1385 directory), create F<mylinux> file with this content:
1386
1387     #!/usr/bin/env novaboot
1388     load bzImage console=ttyS0,115200
1389     load rootfs.cpio
1390
1391 =over 3
1392
1393 =item 1.
1394
1395 Booting an OS in Qemu can be accomplished by giving the B<--qemu> option.
1396 Thus running
1397
1398  novaboot --qemu mylinux
1399
1400 (or C<./mylinux --qemu> as described above) will run Qemu and make it
1401 boot the configuration specified in the F<mylinux> script. How is qemu
1402 started can be configured in various ways (see below).
1403
1404 =item 2.
1405
1406 Create a bootloader configuration file (currently supported
1407 bootloaders are GRUB, GRUB2, ISOLINUX, Pulsar, and U-Boot) and copy it
1408 with all other files needed for booting to a remote TFTP server. Then
1409 use a TCP/IP-controlled relay/serial-to-TCP converter to reset the
1410 target and receive its serial output.
1411
1412  ./mylinux --grub2 --server=192.168.1.1:/tftp --iprelay=192.168.1.2
1413
1414 Alternatively, you can put these switches to the configuration file
1415 and run:
1416
1417  ./mylinux --target mytarget
1418
1419 =item 3.
1420
1421 Specifying all the options needed by novaboot to successfully control
1422 the target, either on command line or in configuration files, can be
1423 difficult for users. Novaboot supports configuring the target
1424 centrally via L<novaboot-shell(1)> on a server. With such a
1425 configuration, users only need to use the B<--ssh> option to specify
1426 where to boot their OS:
1427
1428  ./mylinux --ssh myboard@example.com
1429
1430 Typically, the server is the computer connected to and controlling the
1431 target board and running the TFTP server.
1432
1433 =item 4.
1434
1435 Run DHCP and TFTP server on developer's machine to boot the target
1436 from it.
1437
1438  ./mylinux --dhcp-tftp
1439
1440 This usage is useful when no network infrastructure is in place, and
1441 the target is connected directly to developer's box.
1442
1443 =item 5.
1444
1445 Create bootable ISO image.
1446
1447  novaboot --iso -- script1 script2
1448
1449 The created ISO image will have ISOLINUX bootloader installed on it,
1450 and the boot menu will allow selecting between I<script1> and
1451 I<script2> configurations.
1452
1453 =back
1454
1455 =head1 PHASES AND OPTIONS
1456
1457 Novaboot performs its work in several phases. Command line options
1458 described bellow influence the execution of each phase or allow their
1459 skipping. The list of phases (in the execution order) is as follows.
1460
1461 =over
1462
1463 =item 1. L<Configuration reading|/Configuration reading phase>
1464
1465 =item 2. L<Command line processing|/Command line processing phase>
1466
1467 =item 3. L<Script preprocessing|/Script preprocessing phase>
1468
1469 =item 4. L<File generation|/File generation phase>
1470
1471 =item 5. L<Target connection|/Target connection check>
1472
1473 =item 6. L<File deployment|/File deployment phase>
1474
1475 =item 7. L<Target power-on and reset|/Target power-on and reset phase>
1476
1477 =item 8. L<Interaction with the bootloader|/Interaction with the bootloader on the target>
1478
1479 =item 9. L<Target interaction|/Target interaction phase>
1480
1481 =back
1482
1483 Each phase is described in the following sections together with the
1484 command line options that control it.
1485
1486 =head2 Configuration reading phase
1487
1488 After starting, novaboot reads zero or more configuration files. We
1489 describe their content in section L</"CONFIGURATION FILES">. By default, the
1490 configuration is read from multiple locations. First from the system
1491 configuration directory (F</etc/novaboot.d/>), second from the user
1492 configuration file (F<~/.config/novaboot>) and third from F<.novaboot>
1493 files along the path to the current directory. Alternatively, a single
1494 configuration file specified with the B<-c> switch or with the
1495 C<NOVABOOT_CONFIG> environment variable is read. The latter read files
1496 override settings from the former ones.
1497
1498 The system configuration directory is determined by the content of
1499 NOVABOOT_CONFIG_DIR environment variable and defaults to
1500 F</etc/novaboot.d>. Files in this directory with names consisting
1501 solely of English letters, numbers, dashes '-' and underscores '_'
1502 (note that dot '.' is not included) are read in alphabetical order.
1503
1504 Then, the user configuration file is read from
1505 F<$XDG_CONFIG_HOME/novaboot>. If C<$XDG_CONFIG_HOME> environment
1506 variable is not set F<~/.config/novaboot> is read instead.
1507
1508 Finally, novaboot searches for files named F<.novaboot> starting from the
1509 directory of the novaboot script (or working directory, see bellow)
1510 and continuing upwards up to the root directory. The found
1511 configuration files are then read in the opposite order (i.e. from the
1512 root directory downwards). This ordering allows having, for example, a project
1513 specific configuration in F<~/project/.novaboot>.
1514
1515 Note the difference between F<~/.config/novaboot> and F<~/.novaboot>.
1516 The former one is always read, whereas the latter only when novaboot
1517 script or working directory is under the C<$HOME> directory.
1518
1519 In certain cases, the location of the novaboot script cannot be
1520 determined in this early phase. This situation happens either when the script is
1521 read from the standard input or when novaboot is invoked explicitly as
1522 in the example L</"4."> above. In this case, the current working
1523 directory is used as a starting point for configuration file search
1524 instead of the novaboot script directory.
1525
1526 =over 8
1527
1528 =item -c, --config=I<filename>
1529
1530 Use the specified configuration file instead of the default one(s).
1531
1532 =back
1533
1534 =head2 Command line processing phase
1535
1536 =over 8
1537
1538 =item --dump-config
1539
1540 Dump the current configuration to stdout end exit. Useful as an
1541 initial template for a configuration file.
1542
1543 =item -h, --help
1544
1545 Print short (B<-h>) or long (B<--help>) help.
1546
1547 =item -t, --target=I<target>
1548
1549 This option serves as a user configurable shortcut for other novaboot
1550 options. The effect of this option is the same as specifying the
1551 options stored in the C<%targets> configuration variable under key
1552 I<target>. See also L</"CONFIGURATION FILES">.
1553
1554 When this option is not given, novaboot tries to determine the target
1555 to use from either B<NOVABOOT_TARGET> environment variable or
1556 B<$default_target> configuration file variable.
1557
1558 =item --ssh=I<user@hostname>
1559
1560 Configures novaboot to control the target via C<novaboot-shell>
1561 running remotely via SSH.
1562
1563 Using this option is the same as specifying B<--remote-cmd>,
1564 B<--remote-expect>, B<--server> B<--rsync-flags>, B<--prefix> and
1565 B<--reset-cmd> manually in a way compatible with C<novaboot-shell>.
1566 The server can be configured to provide other, safe bootloader-related
1567 options, to the client. When this happens, novaboot prints them to
1568 stdout.
1569
1570 Currently, this in an initial experimental implementation. We plan to
1571 change/extend this feature soon!
1572
1573 =back
1574
1575 =head2 Script preprocessing phase
1576
1577 This phase allows modifying the parsed novaboot script before it is
1578 used in the later phases.
1579
1580 =over 8
1581
1582 =item -a, --append=I<parameters>
1583
1584 Append a string to the first C<load> line in the novaboot script. This option
1585 can be used to append parameters to the kernel's or root task's
1586 command line. This option can appear multiple times.
1587
1588 =item -b, --bender
1589
1590 Use L<Bender|https://github.com/TUD-OS/morbo/blob/master/standalone/bender.c>
1591 chainloader. Bender scans the PCI bus for PCI serial ports and stores
1592 the information about them in the BIOS data area for use by the
1593 kernel.
1594
1595 =item --chainloader=I<chainloader>
1596
1597 Specifies a chainloader that is loaded before the kernel and other
1598 files specified in the novaboot script. E.g. 'bin/boot/bender
1599 promisc'.
1600
1601 =item --dump
1602
1603 Print the modules to boot and their parameters, after this phase
1604 finishes. Then exit. This is useful for seeing the effect of other
1605 options in this section.
1606
1607 =item -k, --kernel=F<file>
1608
1609 Replace the first word on the first C<load> line in the novaboot
1610 script with F<file>.
1611
1612 =item --scriptmod=I<Perl expression>
1613
1614 When novaboot reads the script, I<Perl expression> is executed for every
1615 line (in $_ variable). For example, C<novaboot
1616 --scriptmod=s/sigma0/omega6/g> replaces every occurrence of I<sigma0>
1617 in the script with I<omega6>.
1618
1619 When this option is present, it overrides I<$script_modifier> variable
1620 from the configuration file, which has the same effect. If this option
1621 is given multiple times all expressions are evaluated in the command
1622 line order.
1623
1624 =back
1625
1626 =head2 File generation phase
1627
1628 In this phase, files needed for booting are generated in a so-called
1629 I<build directory> (see L</--build-dir>). In most cases configuration
1630 for a bootloader is generated automatically by novaboot. It is also
1631 possible to generate other files using I<heredoc> or I<"<"> syntax in
1632 novaboot scripts. Finally, novaboot can generate binaries in this phases by
1633 running C<scons> or C<make>.
1634
1635 =over 8
1636
1637 =item --build-dir=I<directory>
1638
1639 Overrides the default build directory location.
1640
1641 The default build directory location is determined as follows: If the
1642 configuration file defines the C<$builddir> variable, its value is
1643 used. Otherwise, it is the directory that contains the first processed
1644 novaboot script.
1645
1646 See also L</BUILDDIR> variable.
1647
1648 =item -g, --grub[=I<filename>]
1649
1650 Generates grub bootloader menu file. If the I<filename> is not
1651 specified, F<menu.lst> is used. The I<filename> is relative to the
1652 build directory (see B<--build-dir>).
1653
1654 =item --grub-preamble=I<prefix>
1655
1656 Specifies the I<preamble> that is at the beginning of the generated
1657 GRUB or GRUB2 config files. This is useful for specifying GRUB's
1658 timeout.
1659
1660 =item --prefix=I<prefix>
1661
1662 Specifies I<prefix> (e.g. F</srv/tftp>) that is put in front of every
1663 filename in generated bootloader configuration files (or in U-Boot
1664 commands).
1665
1666 If the I<prefix> contains string $NAME, it will be replaced with the
1667 name of the novaboot script (see also B<--name>).
1668
1669 If the I<prefix> contains string $BUILDDIR, it will be replaced with
1670 the build directory (see also B<--build-dir>).
1671
1672 =item --grub-prefix
1673
1674 Alias for B<--prefix>.
1675
1676 =item --grub2[=I<filename>]
1677
1678 Generate GRUB2 menu entry in I<filename>. If I<filename> is not
1679 specified F<grub.cfg> is used. The content of the menu entry can be
1680 customized with B<--grub-preamble>, B<--grub2-prolog> or
1681 B<--grub_prefix> options.
1682
1683 To use the generated menu entry on your development
1684 machine that uses GRUB2, append the following snippet to
1685 F</etc/grub.d/40_custom> file and regenerate your grub configuration,
1686 i.e. run update-grub on Debian/Ubuntu.
1687
1688   if [ -f /path/to/nul/build/grub.cfg ]; then
1689     source /path/to/nul/build/grub.cfg
1690   fi
1691
1692 =item --grub2-prolog=I<prolog>
1693
1694 Specifies the text that novaboot puts at the beginning of the GRUB2 menu entry.
1695
1696 =item -m, --make[=make command]
1697
1698 Runs C<make> to build files that are not generated by novaboot itself.
1699
1700 =item --name=I<string>
1701
1702 Use the name I<string> instead of the name of the novaboot script.
1703 This name is used for things like a title of grub menu or for the
1704 server directory where the boot files are copied to.
1705
1706 =item --no-file-gen
1707
1708 Do not run external commands to generate files (i.e. "<" syntax and
1709 C<run> keyword). This switch does not influence the generation of files
1710 specified with "<<WORD" syntax.
1711
1712 =item -p, --pulsar[=mac]
1713
1714 Generates pulsar bootloader configuration file named F<config-I<mac>>
1715 The I<mac> string is typically a MAC address and defaults to
1716 I<novaboot>.
1717
1718 =item --scons[=scons command]
1719
1720 Runs C<scons> to build files that are not generated by novaboot
1721 itself.
1722
1723 =item --strip-rom
1724
1725 Strip I<rom://> prefix from command lines and generated config files.
1726 The I<rom://> prefix is used by NUL. For NRE, it has to be stripped.
1727
1728 =item --gen-only
1729
1730 Exit novaboot after file generation phase.
1731
1732 =back
1733
1734 =head2 Target connection check
1735
1736 In this phase novaboot connects to target's serial port (if it has
1737 one). If another novaboot user/instance occupies the target, novaboot
1738 exits here with an error message.
1739
1740 =over 8
1741
1742 =item --amt=I<"[user[:password]@]host[:port]>
1743
1744 Use Intel AMT technology to control the target machine. WS management
1745 is used to powercycle it and Serial-Over-Lan (SOL) for input/output.
1746 The hostname or (IP address) is given by the I<host> parameter. If the
1747 I<password> is not specified, environment variable AMT_PASSWORD is
1748 used. The I<port> specifies a TCP port for SOL. If not specified, the
1749 default is 16992. The default I<user> is admin.
1750
1751 =item --iprelay=I<addr[:port]>
1752
1753 Use TCP/IP relay and serial port to access the target's serial port
1754 and powercycle it. The I<addr> parameter specifies the IP address of
1755 the relay. If I<port> is not specified, it defaults to 23.
1756
1757 Note: This option is supposed to work with HWG-ER02a IP relays.
1758
1759 =item --iprelay-cmd=I<command>
1760
1761 Similar to B<--iprelay> but uses I<command> to talk to the iprelay
1762 rather than direct network connection.
1763
1764 =item -s, --serial[=device]
1765
1766 Target's serial line is connected to host's serial line (device). The
1767 default value for device is F</dev/ttyUSB0>.
1768
1769 The value of this option is exported in NB_NOVABOOT environment
1770 variable to all subprocesses run by C<novaboot>.
1771
1772 =item --stty=I<settings>
1773
1774 Specifies settings passed to C<stty> invoked on the serial line
1775 specified with B<--serial> option. If this option is not given,
1776 C<stty> is called with C<raw -crtscts -onlcr 115200> settings.
1777
1778 =item --remote-cmd=I<cmd>
1779
1780 Command that mediates connection to the target's serial line. For
1781 example C<ssh server 'cu -l /dev/ttyS0'>.
1782
1783 =item --remote-expect=I<string>
1784
1785 Wait for reception of I<string> after establishing the remote
1786 connection. This option is needed when novaboot should wait for
1787 confirmation before deploying files to the target, e.g. to not
1788 overwrite other user's files when they are using the target.
1789
1790 =item --remote-expect-silent=I<string>
1791
1792 The same as B<--remote-expect> except that the remote output is not
1793 echoed to stdout while waiting for the I<string>. Everything after the
1794 matched string is printed to stdout, so you may want to include line
1795 end characters in the I<string> as well.
1796
1797 =item --remote-expect-timeout=I<seconds>
1798
1799 Timeout in seconds for B<--remote-expect> or
1800 B<--remote-expect-seconds>. When negative, waits forever. The default
1801 is -1 seconds.
1802
1803 =back
1804
1805 =head2 File deployment phase
1806
1807 In some setups, it is necessary to copy the files needed for booting
1808 to a particular location, e.g. to a TFTP boot server or to the
1809 F</boot> partition.
1810
1811 =over 8
1812
1813 =item -d, --dhcp-tftp
1814
1815 Turns your workstation into a DHCP and TFTP server so that the OS can
1816 be booted via PXE BIOS (or similar mechanism) on the test machine
1817 directly connected by a plain Ethernet cable to your workstation.
1818
1819 The DHCP and TFTP servers require root privileges and C<novaboot>
1820 uses C<sudo> command to obtain those. You can put the following to
1821 I</etc/sudoers> to allow running the necessary commands without asking
1822 for a password.
1823
1824  Cmnd_Alias NOVABOOT = /bin/ip a add 10.23.23.1/24 dev eth0, /bin/ip l set dev eth0 up, /usr/sbin/dhcpd -d -cf dhcpd.conf -lf dhcpd.leases -pf dhcpd.pid, /usr/sbin/in.tftpd --listen --secure -v -v -v --pidfile tftpd.pid *, /usr/bin/touch dhcpd.leases, /usr/bin/pkill --pidfile=dhcpd.pid, /usr/bin/pkill --pidfile=tftpd.pid
1825  your_login ALL=NOPASSWD: NOVABOOT
1826
1827 =item --tftp
1828
1829 Starts a TFTP server on your workstation. This is similar to
1830 B<--dhcp-tftp> except that DHCP server is not started.
1831
1832 The TFTP server requires root privileges and C<novaboot> uses C<sudo>
1833 command to obtain those. You can put the following to I</etc/sudoers>
1834 to allow running the necessary commands without asking for a password.
1835
1836  Cmnd_Alias NOVABOOT =  /usr/sbin/in.tftpd --listen --secure -v -v -v --pidfile tftpd.pid *, /usr/bin/pkill --pidfile=tftpd.pid
1837  your_login ALL=NOPASSWD: NOVABOOT
1838
1839 =item --tftp-port=I<port>
1840
1841 Port to run the TFTP server on. Implies B<--tftp>.
1842
1843 =item --netif=I<network interface>
1844
1845 Network interface used to deploy files to the target. The default value is
1846 I<eth0>. This option influences the configuration of the DHCP server started
1847 by B<--dhcp-tftp> and the value that B<$NB_MYIP> get replaced with during
1848 U-Boot conversation.
1849
1850 =item --iso[=filename]
1851
1852 Generates the ISO image that boots NOVA system via GRUB. If no filename
1853 is given, the image is stored under I<NAME>.iso, where I<NAME> is the name
1854 of the novaboot script (see also B<--name>).
1855
1856 =item --server[=[[user@]server:]path]
1857
1858 Copy all files needed for booting to another location. The files will
1859 be copied (by B<rsync> tool) to the directory I<path>. If the I<path>
1860 contains string $NAME, it will be replaced with the name of the
1861 novaboot script (see also B<--name>).
1862
1863 =item --rsync-flags=I<flags>
1864
1865 Specifies I<flags> to append to F<rsync> command line when
1866 copying files as a result of I<--server> option.
1867
1868 =item --concat
1869
1870 If B<--server> is used and its value ends with $NAME, then after
1871 copying the files, a new bootloader configuration file (e.g. menu.lst)
1872 is created at I<path-wo-name>, i.e. the path specified by B<--server>
1873 with $NAME part removed. The content of the file is created by
1874 concatenating all files of the same name from all subdirectories of
1875 I<path-wo-name> found on the "server".
1876
1877 =item --ider
1878
1879 Use Intel AMT technology for IDE redirection. This allows the target
1880 machine to boot from novaboot created ISO image. Implies B<--iso>.
1881
1882 The experimental C<amtider> utility needed by this option can be
1883 obtained from https://github.com/wentasah/amtterm.
1884
1885 =back
1886
1887 =head2 Target power-on and reset phase
1888
1889 At this point, the target is reset (or switched on/off). There are
1890 several ways how this can be accomplished. Resetting a physical target
1891 can currently be accomplished by the following options: B<--amt>,
1892 B<--iprelay>, B<--reset-cmd> and B<--reset-send>.
1893
1894 =over 8
1895
1896 =item --on, --off
1897
1898 Switch on/off the target machine and exit. The script (if any) is
1899 completely ignored. Currently, it works only with the following
1900 options: B<--iprelay>, B<--amt>, B<--ssh>.
1901
1902 =item -Q, --qemu[=I<qemu-binary>]
1903
1904 Boot the configuration in qemu. Optionally, the name of qemu binary
1905 can be specified as a parameter.
1906
1907 =item --qemu-append=I<flags>
1908
1909 Append I<flags> to the default qemu flags (QEMU_FLAGS variable or
1910 C<-cpu coreduo -smp 2>).
1911
1912 =item -q, --qemu-flags=I<flags>
1913
1914 Replace the default qemu flags (QEMU_FLAGS variable or C<-cpu coreduo
1915 -smp 2>) with I<flags> specified here.
1916
1917 =item --reset-cmd=I<cmd>
1918
1919 Runs command I<cmd> to reset the target.
1920
1921 =item --reset-send=I<string>
1922
1923 Reset the target by sending the given I<string> to the remote serial
1924 line. "\n" sequences are replaced with the newline character.
1925
1926 =item --no-reset, --reset
1927
1928 Disable/enable resetting of the target.
1929
1930 =back
1931
1932 =head2 Interaction with the bootloader on the target
1933
1934 =over 8
1935
1936 =item --uboot[=I<prompt>]
1937
1938 Interact with U-Boot bootloader to boot the thing described in the
1939 novaboot script. I<prompt> specifies the U-Boot's prompt (default is
1940 "=> ", other common prompts are "U-Boot> " or "U-Boot# ").
1941
1942 =item --no-uboot
1943
1944 Disable U-Boot interaction previously enabled with B<--uboot>.
1945
1946 =item --uboot-stop-key=I<key>
1947
1948 Character, which is sent as a response to U-Boot's "Hit any key to
1949 stop autoboot" message. The default value is newline, but some devices
1950 (e.g. TP-Link TD-W8970) require a specific key to be pressed.
1951
1952 =item --uboot-init
1953
1954 Command(s) to send the U-Boot bootloader before loading the images and
1955 booting them. This option can be given multiple times. After sending
1956 commands from each option novaboot waits for U-Boot I<prompt>.
1957
1958 If the command contains string I<$NB_MYIP> then this string is
1959 replaced by IPv4 address of eth0 interface (see also B<--netif>).
1960 Similarly, I<$NB_PREFIX> is replaced with prefix given by B<--prefix>.
1961
1962 See also C<uboot> keyword in L</"NOVABOOT SCRIPT SYNTAX">).
1963
1964 =item --uboot-addr I<name>=I<address>
1965
1966 Load address of U-Boot's C<tftpboot> command for loading I<name>,
1967 where name is one of I<kernel>, I<ramdisk> or I<fdt> (flattened device
1968 tree).
1969
1970 The default addresses are ${I<name>_addr_r}, i.e. U-Boot environment
1971 variables used by convention for this purpose.
1972
1973 =item --uboot-cmd=I<command>
1974
1975 Specifies U-Boot command used to execute the OS. If the command
1976 contains strings C<$kernel_addr>, C<$ramdisk_addr>, C<$fdt_addr>,
1977 these are replaced with the addresses configured with B<--uboot-addr>.
1978
1979 The default value is
1980
1981     bootm $kernel_addr $ramdisk_addr $fdt_addr
1982
1983 or the C<UBOOT_CMD> variable if defined in the novaboot script.
1984
1985 =back
1986
1987 =head2 Target interaction phase
1988
1989 In this phase, target's serial output is redirected to stdout and if
1990 stdin is a TTY, it is redirected to the target's serial input allowing
1991 interactive work with the target.
1992
1993 =over 8
1994
1995 =item --exiton=I<string>
1996
1997 When the I<string> is sent by the target, novaboot exits. This option can
1998 be specified multiple times, in which case novaboot exits whenever
1999 either of the specified strings is sent.
2000
2001 If the I<string> is C<-re>, then the next B<--exiton>'s I<string> is
2002 treated as a regular expression. For example:
2003
2004     --exiton -re --exiton 'error:.*failed'
2005
2006 =item --exiton-re=I<regex>
2007
2008 The same as --exiton -re --exiton I<regex>.
2009
2010 =item --exiton-timeout=I<seconds>
2011
2012 By default B<--exiton> waits for the string match forever. When this
2013 option is specified, "exiton" timeouts after the specified number of
2014 seconds and novaboot returns non-zero exit code.
2015
2016 =item -i, --interactive
2017
2018 Setup things for the interactive use of the target. Your terminal will
2019 be switched to raw mode. In raw mode, your local terminal does not
2020 process input in any way (no echoing of entered characters, no
2021 interpretation of special characters). This, among others, means that
2022 Ctrl-C is passed to the target and does not interrupt novaboot. To
2023 exit from novaboot interactive mode type "~~.".
2024
2025 =item --no-interaction, --interaction
2026
2027 Skip resp. force target interaction phase. When skipped, novaboot exits
2028 immediately after the boot is initiated.
2029
2030 =item --expect=I<string>
2031
2032 When the I<string> is received from the target, send the string specified
2033 with the subsequent B<--send*> option to the target.
2034
2035 =item --expect-re=I<regex>
2036
2037 When target's output matches regular expression I<regex>, send the
2038 string specified with the subsequent B<--send*> option to the target.
2039
2040 =item --expect-raw=I<perl-code>
2041
2042 Provides direct control over Perl's Expect module.
2043
2044 =item --send=I<string>
2045
2046 Send I<string> to the target after the previously specified
2047 B<--expect*> was matched in the target's output. The I<string> may
2048 contain escape sequences such as "\n".
2049
2050 Note that I<string> is actually interpreted by Perl, so it can contain
2051 much more that escape sequences. This behavior may change in the
2052 future.
2053
2054 Example: C<--expect='login: ' --send='root\n'>
2055
2056 =item --sendcont=I<string>
2057
2058 Similar to B<--send> but continue expecting more input.
2059
2060 Example: C<--expect='Continue?' --sendcont='yes\n'>
2061
2062 =item --final-eol, --no-final-eol
2063
2064 By default, B<novaboot> always prints an end-of-line character at the
2065 end of its execution in order to ensure that the output of programs
2066 started after novaboot appears at the beginning of the line. When this
2067 is not desired B<--no-final-eol> option can be used to override this
2068 behavior.
2069
2070 =back
2071
2072 =head1 NOVABOOT SCRIPT SYNTAX
2073
2074 The syntax tries to mimic POSIX shell syntax. The syntax is defined
2075 by the following rules.
2076
2077 Lines starting with "#" and empty lines are ignored.
2078
2079 Lines that end with "\" are concatenated with the following line after
2080 removal of the final "\" and leading whitespace of the following line.
2081
2082 Lines of the form I<VARIABLE=...> (i.e. matching '^[A-Z_]+=' regular
2083 expression) assign values to internal variables. See L</VARIABLES>
2084 section.
2085
2086 Otherwise, the first word on the line defines the meaning of the line.
2087 The following keywords are supported:
2088
2089 =over 4
2090
2091 =item C<load>
2092
2093 These lines represent modules to boot. The
2094 word after C<load> is a file name (relative to the build directory
2095 (see B<--build-dir>) of the module to load and the remaining words are
2096 passed to it as the command line parameters.
2097
2098 When the C<load> line ends with "<<WORD" then the subsequent lines
2099 until the line containing solely WORD are copied literally to the file
2100 named on that line. This is similar to shell's heredoc feature.
2101
2102 When the C<load> line ends with "< CMD" then command CMD is executed
2103 with F</bin/sh> and its standard output is stored in the file named on
2104 that line. The SRCDIR variable in CMD's environment is set to the
2105 absolute path of the directory containing the interpreted novaboot
2106 script.
2107
2108 =item C<copy>
2109
2110 These lines are similar to C<load> lines. The
2111 file mentioned there is copied to the same place as in the case of C<load>
2112 (e.g. tftp server), but the file is not used in the bootloader
2113 configuration. Such a file can be used by the target for other
2114 purposes than booting, e.g. at OS runtime or for firmware update.
2115
2116 =item C<chld>
2117
2118 Chainload another bootloader. Instead of loading multiboot modules
2119 identified with C<load> keyword, run another bootloader. This is
2120 currently supported only by pulsar and can be used to load e.g. Grub
2121 as in the example below:
2122
2123  chld boot/grub/i386-pc/core.0
2124
2125
2126 =item C<run>
2127
2128 Lines starting with C<run> keyword contain shell commands that are run
2129 during file generation phase. This is the same as the "< CMD" syntax
2130 for C<load> keyboard except that the command's output is not
2131 redirected to a file. The ordering of commands is the same as they
2132 appear in the novaboot script.
2133
2134 =item C<uboot>
2135
2136 These lines represent U-Boot commands that are sent to the target if
2137 B<--uboot> option is given. Having a U-Boot line in the novaboot
2138 script is the same as giving B<--uboot-init> option to novaboot. The
2139 following syntax variants are supported:
2140
2141
2142   uboot[:<timeout>] <string> [> <file>]
2143   uboot[:<timeout>] < <shell> [> <file>]
2144
2145 C<string> is the literal U-Boot command.
2146
2147 The C<uboot> keyword can be suffixed with timeout specification. The
2148 syntax is C<uboot:Ns>, where C<N> is the whole number of seconds. If
2149 the U-Boot command prompt does not appear before the timeout, novaboot
2150 fails. The default timeout is 10 seconds.
2151
2152 In the second variant with the C<<> character the shell code is
2153 executed and its standard output is sent to U-Boot. Example:
2154
2155   uboot < printf "mmc write \$loadaddr 1 %x" $(($(/usr/bin/stat -c%s rootfs.ext4) / 512))
2156
2157 When C<E<gt> file> part is present, the output of the U-Boot command
2158 is written into the given file.
2159
2160 =back
2161
2162 Example (Linux):
2163
2164   #!/usr/bin/env novaboot
2165   load bzImage console=ttyS0,115200
2166   run  make -C buildroot
2167   load rootfs.cpio < gen_cpio buildroot/images/rootfs.cpio "myapp->/etc/init.d/S99myapp"
2168
2169 Example (NOVA User Land - NUL):
2170
2171   #!/usr/bin/env novaboot
2172   WVDESC=Example program
2173   load bin/apps/sigma0.nul S0_DEFAULT script_start:1,1 \
2174                            verbose hostkeyb:0,0x60,1,12,2
2175   load bin/apps/hello.nul
2176   load hello.nulconfig <<EOF
2177   sigma0::mem:16 name::/s0/log name::/s0/timer name::/s0/fs/rom ||
2178   rom://bin/apps/hello.nul
2179   EOF
2180
2181 This example will load three modules: F<sigma0.nul>, F<hello.nul> and
2182 F<hello.nulconfig>. sigma0 receives some command line parameters and
2183 F<hello.nulconfig> file is generated on the fly from the lines between
2184 C<<<EOF> and C<EOF>.
2185
2186 Example (Zynq system update via U-Boot):
2187
2188   #!/usr/bin/env novaboot
2189
2190   uboot dhcp
2191
2192   # Write kernel to FAT filesystem on the 1st SD card partition
2193   run mkimage -f uboot-image.its image.ub
2194   copy image.ub
2195   uboot:60s tftpboot ${loadaddr} $NB_PREFIX/image.ub
2196   uboot fatwrite mmc 0:1 ${loadaddr} image.ub $filesize
2197   uboot set bootargs console=ttyPS0,115200 root=/dev/mmcblk0p2
2198
2199   # Write root FS image to the 2nd SD card partition
2200   copy rootfs/images/rootfs.ext4
2201   uboot:60s tftpboot ${loadaddr} $NB_PREFIX/rootfs/images/rootfs.ext4
2202   uboot mmc part > mmc-part.txt
2203   uboot < printf "mmc write \$loadaddr %x %x" $(awk '{ if ($1 == "2") { print $2 }}' mmc-part.txt) $(($(/usr/bin/stat -L --printf=%s rootfs/images/rootfs.ext4) / 512))
2204
2205   UBOOT_CMD=boot
2206
2207
2208 =head2 VARIABLES
2209
2210 The following variables are interpreted in the novaboot script:
2211
2212 =over 8
2213
2214 =item BUILDDIR
2215
2216 Novaboot chdir()s to this directory before file generation phase. The
2217 directory name specified here is relative to the build directory
2218 specified by other means (see L</--build-dir>).
2219
2220 =item EXITON
2221
2222 Assigning this variable has the same effect as specifying L</--exiton>
2223 option.
2224
2225 =item INTERACTION
2226
2227 Setting this variable to zero is the same as giving
2228 L</--no-interaction>, specifying to one corresponds to
2229 L</--interaction>.
2230
2231 =item HYPERVISOR_PARAMS
2232
2233 Parameters passed to the hypervisor. The default value is "serial", unless
2234 overridden in the configuration file.
2235
2236 =item KERNEL
2237
2238 The kernel to use instead of the hypervisor specified in the
2239 configuration file with the C<$hypervisor> variable. The value should
2240 contain the name of the kernel image as well as its command line
2241 parameters. If this variable is defined and non-empty, the variable
2242 HYPERVISOR_PARAMS is not used.
2243
2244 =item NO_BOOT
2245
2246 If this variable is 1, the system is not booted. This is currently
2247 only implemented for U-Boot bootloader where it is useful for
2248 interacting with the bootloader without booting the system - e.g. for
2249 flashing.
2250
2251 =item QEMU
2252
2253 Use a specific qemu binary (can be overridden with B<-Q>) and flags
2254 when booting this script under qemu. If QEMU_FLAGS variable is also
2255 specified flags specified in QEMU variable are replaced by those in
2256 QEMU_FLAGS.
2257
2258 =item QEMU_FLAGS
2259
2260 Use specific qemu flags (can be overridden with B<-q>).
2261
2262 =item UBOOT_CMD
2263
2264 See L</--uboot-cmd>.
2265
2266 =item WVDESC
2267
2268 Description of the WvTest-compliant program.
2269
2270 =item WVTEST_TIMEOUT
2271
2272 The timeout in seconds for WvTest harness. If no complete line appears
2273 in the test output within the time specified here, the test fails. It
2274 is necessary to specify this for long running tests that produce no
2275 intermediate output.
2276
2277 =back
2278
2279 =head1 CONFIGURATION FILES
2280
2281 Novaboot can read its configuration from one or more files. By
2282 default, novaboot looks for files in F</etc/novaboot.d>, file
2283 F<~/.config/novaboot> and files named F<.novaboot> as described in
2284 L</Configuration reading phase>. Alternatively, configuration file
2285 location can be specified with the B<-c> switch or with the
2286 NOVABOOT_CONFIG environment variable. The configuration file has Perl
2287 syntax (i.e. it is better to put C<1;> as the last line) and should set
2288 values of certain Perl variables. The current configuration can be
2289 dumped with the B<--dump-config> switch. Some configuration variables
2290 can be overridden by environment variables (see below) or by command
2291 line switches.
2292
2293 Supported configuration variables include:
2294
2295 =over 8
2296
2297 =item $builddir
2298
2299 Build directory location relative to the location of the configuration
2300 file.
2301
2302 =item $default_target
2303
2304 Default target (see below) to use when no target is explicitly
2305 specified with the B<--target> command line option or
2306 B<NOVABOOT_TARGET> environment variable.
2307
2308 =item %targets
2309
2310 Hash of target definitions to be used with the B<--target> option. The
2311 key is the identifier of the target, the value is the string with
2312 command line options. For instance, if the configuration file contains:
2313
2314  $targets{'mybox'} = '--server=boot:/tftproot --serial=/dev/ttyUSB0 --grub',
2315
2316 then the following two commands are equivalent:
2317
2318  ./myos --server=boot:/tftproot --serial=/dev/ttyUSB0 --grub
2319  ./myos -t mybox
2320
2321 =back
2322
2323 =head1 ENVIRONMENT VARIABLES
2324
2325 Some options can be specified not only via config file or command line
2326 but also through environment variables. Environment variables override
2327 the values from the configuration file and command line parameters
2328 override the environment variables.
2329
2330 =over 8
2331
2332 =item NOVABOOT_CONFIG
2333
2334 Name of the novaboot configuration file to use instead of the default
2335 one(s).
2336
2337 =item NOVABOOT_CONFIG_DIR
2338
2339 Name of the novaboot configuration directory. When not specified
2340 F</etc/novaboot.d> is used.
2341
2342 =item NOVABOOT_TARGET
2343
2344 Name of the novaboot target to use. This overrides the value of
2345 B<$default_target> from the configuration file and can be overridden
2346 with the B<--target> command line option.
2347
2348 =item NOVABOOT_BENDER
2349
2350 Defining this variable has the same effect as using B<--bender>
2351 option.
2352
2353 =back
2354
2355 =head1 AUTHORS
2356
2357 Michal Sojka <sojka@os.inf.tu-dresden.de>
2358
2359 Latest novaboot version can be found at
2360 L<https://github.com/wentasah/novaboot>.
2361
2362 =cut
2363
2364 # LocalWords:  novaboot Novaboot NOVABOOT TFTP PXE DHCP filename stty
2365 # LocalWords:  chainloader stdout Qemu qemu preprocessing ISOLINUX bootable
2366 # LocalWords:  config subprocesses sudo sudoers tftp dhcp IDE stdin
2367 # LocalWords:  subdirectories TTY whitespace heredoc POSIX WvTest