pkgsrc-Users archive

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index][Old Index]

Re: Distributed bulk builds really need passwordless SSH ?




To: "tech-pkg\\@netbsd.org" <tech-pkg%netbsd.org@localhost>, Pkgsrc Users <pkgsrc-users%netbsd.org@localhost>

Subject: Re: Distributed bulk builds really need passwordless SSH ?

From: Andrew Randrianasulu <randrianasulu%gmail.com@localhost>

Date: Sun, 7 Dec 2025 14:57:23 +0300





пт, 5 дек. 2025 г., 14:04 Andrew Randrianasulu <randrianasulu%gmail.com@localhost>:
Hello!

Following recent sparc binary packages disappearance I wondered about how distributed pkgsrc builds can be done. According to documentation:

https://www.netbsd.org/docs/pkgsrc/bulk.html

====

Note


The pbulk.sh script supports running unprivileged bulk build and helps configuring distributed bulk builds. Distributed bulk builds support either building in worker chroots (each node is a path to a different chroot) that replicate the target system, including the pbulk prefix, or remote machines (each node is an IP address that must be accessible over SSH without a password).
====
This sounds .. a bit dangerous, considering all those ssh bruteforce bots living around ...
Is there chance someone mods this script so it will accept list of nodes and their passwords?
Or may be for exotic qemu builds just restrict accepting ssh connections from few configured IPs ?

https://www.perkin.org.uk/posts/distributed-chrooted-pkgsrc-bulk-builds.html

A bit more verbose blog post describing pbulk setup.

 ====
If you have multiple hosts, simple set master_ip to a public address, and add the list of slave IP addresses to *_clients. They will need to be accessible via SSH as root from the master, and will need to have their own installs of /usr/pbulk as well as sharing the same /content mount as the master, most likely over NFS.

=====

I wonder what is simpler for non-admins: pbulk native or pbulk + distcc ? ccache wanted ruby-base and finally got it on my emulated NetBSD/sparc, what distcc may bring left for future surprize (too lazy to look up descr) ...

Random blog post about autoconf caching:
https://jmmv.dev/2022/06/autoconf-caching.html

using autoswc

====
Unfortunately, as good as this may seem, autoswcs results  arent impressive. The main problem is that its on you (the  administrator) to curate the list of checks to cache. This is a very  difficult task as it requires looking at what configure  scripts are doing throughout a bulk build and determining which checks  are safe to cache and which arent, and aint nobody have time for that.

=====

Well, it all looks a bit like puzzle to solve ;)






Follow-Ups:

Re: Distributed bulk builds really need passwordless SSH ?
From: Greg A. Woods




Prev by Date: diff from 2025-11-27 14:32 to 2025-12-02 22:13

Next by Date: Re: Distributed bulk builds really need passwordless SSH ?

Previous by Thread: doc/guide: PLIST error

Next by Thread: Re: Distributed bulk builds really need passwordless SSH ?

Indexes:

reverse Date

reverse Thread

Old Index



Home | Main Index | Thread Index | Old Index