BIWEB开源PHP WMS系统创始人ArthurXF肖飞的blog

/libexec/ld-elf.so.1: Shared object "libldap-2.3.so.2" not found, required by "httpd"

cd /usr/local/lib
ln -s libldap-2.4.so.2 libldap-2.3.so.2

启动apache，出现新的错误：
/libexec/ld-elf.so.1: Shared object "liblber-2.3.so.2" not found, required by "httpd"
再建立软链接：
ln -s liblber-2.4.so.2 liblber-2.3.so.2

apachectl start
现在就正常了，问题解决，虽然这可能不是根本的解决办法，至少能先启动服务了，此文章由ArthurXF倾情奉献，谢谢支持！

#cd /sys/i386/conf
//如果没有这个目录，说明你的系统没有安装Ports服务，要记得装上。
#cp GENERIC ./ArthurXF_IPFW
用 vi 打开ArthurXF_IPFW文件，在文件未尾加入以下个行
options IPFIREWALL //通知操作系统的内核检查每个IP数据包，将它们与规则集进行比较
options IPFIREWALL_FORWARD
options IPDIVERT //启用由ipfw divert使用的转向IP套接字。这一选项需要与natd联合使用。
options IPFIREWALL_VERBOSE //启用通过Syslogd记录日志；如果没有指定这个选项，即使你在过滤规则中指定了记录包，也不会真的记录它们。
options IPFIREWALL_VERBOSE_LIMIT=10 //限制通过Syslogd记录的每项包规则的记录条数。如果你受到了大量的攻击，想记录防火墙的活动，但又不想由于Syslog洪水一般的记录将你淹没，那么这个选项将会很有用。当使用了这条规则，当规则链中的某一项达到限制数值时，它所对应的日志将不再记录下来。
options IPSTEALTH //启动支持秘密转发的代码，这一选项在使防火墙不被traceroute和类似工具发现时很有用。
options IPFIREWALL_DEFAULT_TO_ACCEPT //注意，关键地方了，本句把默认的规则动作从“deny”改成“allow”了，作用是在默认状态下IPFW将会接受任何的数据。
options ACCEPT_FILTER_DATA
options ACCEPT_FILTER_HTTP //接受过滤器中的静态连接
options ICMP_BANDLIM //ICMP_BANDLIM根据带宽限制产生icmp错误。一般情况下我们需要这个选项，它有助于你的系统免受D.O.S.攻击。

另外提供一些优化参数，可以不加的，仅供参考
options PQ_HUGECACHE //为1024k二级缓存的CPU提供支持
options PQ_LARGECACHE //为512k二级缓存的CPU提供支持
options PQ_MEDIUMCACHE //为256k二级缓存的CPU提供支持
options PQ_SMALLCACHE //为128k二级缓存的CPU提供支持
options CPU_ATHLON_SSE_HACK
options CPU_ENABLE_SSE //为Athlon系列CPU提供SSE支持
options CPU_SUSP_HLT //打开CPU空闲节能。
options CPU_UPGRADE_HW_CACHE
options CPU_WT_ALLOC
options NO_MEMORY_HOLE
上面有些参数，不是每个系统都会通过编译的，如果哪条出错了，就把哪条删除即可。
输入完成后，保存，并退出。

#cd /usr/src
#make kernel KERNCONF=ArthurXF_IPFW
//开始编译内核。

#vi /etc/rc.conf
加入如下参数：
firewall_enable="YES"
//激活Firewall防火墙
firewall_script="/etc/rc.firewall"
//Firewall防火墙的默认脚本
firewall_type="/etc/ipfw.conf"
//Firewall 自定义脚本
firewall_quiet="NO"
//启用脚本时是否显示规则信息；假如你不再修改防火墙脚本，那么可以把这里设成“YES“。
firewall_logging_enable="YES"

#vi /etc/syslog.conf 文件，在文件最后加入：
!ipfw
*.* /var/log/ipfw.log
//这行的作用是将IPFW的日志写到/var/log/ipfw.log/文件里。你可以为日志文件指定其它路径。
最后，重启服务器。

vi /etc/ipfw.conf
将下面的内容复制进去
#!/bin/sh
fwcmd="/sbin/ipfw"
#${fwcmd} -f flush
#########  TCP  ##########
${fwcmd} add 001 deny tcp from any to any in tcpflags syn,fin
#########  DNS  ##########
${fwcmd} add 100 pass all from any to any via lo0
${fwcmd} add 110 deny all from any to 127.0.0.0/8
${fwcmd} add 120 deny ip from 127.0.0.0/8 to any
${fwcmd} add 130 pass all from me to me
 
${fwcmd} add 1000 allow all from me to 202.96.209.5
${fwcmd} add 1000 allow all from me to 202.96.209.133
${fwcmd} add 1000 allow all from 202.96.209.5 to me
${fwcmd} add 1000 allow all from 202.96.209.133 to me
#########  www ssh ftp mail ##########
${fwcmd} add 500 check-state
${fwcmd} add 10000 pass tcp from any to me 80 in setup  keep-state
${fwcmd} add 10000 pass tcp from any to me 443 in setup  keep-state
${fwcmd} add 10002 allow tcp from any to me 22 in setup  keep-state
${fwcmd} add 10003 pass all from any to me 21 in setup  keep-state
${fwcmd} add 10004 pass all from me to any 21 out setup keep-state
${fwcmd} add 10005 pass tcp from any to me 25 in setup  keep-state
${fwcmd} add 10006 pass tcp from me to any 25 out setup keep-state
################################
${fwcmd} add 20000 allow all from any to any 53 setup keep-state
${fwcmd} add 20001 allow tcp from me to any out setup keep-state
${fwcmd} add 20002 allow all from me to any out setup keep-state
${fwcmd} add 20003 allow all from any to me in setup keep-state
######### ICMP #################
${fwcmd} add 30000 allow icmp from any to any icmptypes 3
${fwcmd} add 30001 allow icmp from any to any icmptypes 4
${fwcmd} add 30002 allow icmp from any to any icmptypes 8 out
${fwcmd} add 30003 allow icmp from any to any icmptypes 0 in
${fwcmd} add 30004 allow icmp from any to any icmptypes 11 in
${fwcmd} add 50000 deny all from any to any
中间那些80，443等都是服务的端口号，可以根据需要修改的。

加载规则        sh /etc/ipfw.conf
显示规则        ipfw show

要让ipfw自启动生效，就需要修改一下。
#vi /etc/rc.conf
修改为
firewall_script="/etc/ipfw.conf"
firewall_quiet="YES" //安静模式
重起就好了。

LAM/MPI CLuster System With FreeBSD 5.3 HOWTO
tonnyom < tonnyom # hotmail.com >

版权声明：可以任意转载，转载时请务必以文字形式标明文章原始出处和作者信息及本声明.

前言
MPI（Message Passing Interface）消息传送接口
它不是一个协议，但它的地位已经实际上是一个协议了。它主要用于在分布式存储系统中的并行程序通信。MPI是一个函数库，它可以通过Fortran和C程序进行调用，MPI的好处是它速度比较快，而且移植性比较好。

Cluster
目前常见的Cluster(集群)架构有两种，一种是Web/Internet Cluster System，这种架构主要是将资料放置在不同的主机上面，亦即由多部主机同时负责一项服务；而另外一种则是所谓的平行运算了(Parallel Algorithms Cluster System)！平行运算其实就是将同一个运算的工作，交给整个Cluster里面的所有CPU来进行同步运算的一个功能。由于使用到多个CPU的运算能力，所以可以加快运算的速度。

此文档所安装架设的LAM/MPI Cluster System属于后者，由于实验环境条件以及自身能力的限制，可能文档有部分解释不详尽，如有疑问请来信与我联系，我将尽力完善此文档，谢谢！

软件及平台
Server \\ FreeBSD 5.3 Stable
IP:172.18.5.247
Hostname: center.the9.com

Client \\ FreeBSD 5.3 Release
IP:172.18.5.80
Hostname: node1.the9.com

apache_1.3.29 \\ All Ports Install
php4-4.3.10
php4-gd-4.3.10
php4-extensions-1.0
lam-6.5.9
ganglia-monitor-core-2.5.6
ganglia-webfrontend-2.5.5

目的
架设一套基于FreeBSD 5.3的LAM/MPI Cluster System.

安装及配置

一,各节点系统 /etc/hosts 的基本配置 \\ 如果内网有DNS,则配置好系统中的 /etc/resolv.conf 即可!
center.the9.com
#more /etc/hosts
172.18.5.247 center.the9.com
172.18.5.80 node1.the9.com

node1.the9.com

#more /etc/hosts
172.18.5.247 center.the9.com
172.18.5.80 node1.the9.com

二,Apache+PHP Server 的架设
center.the9.com

#cd /usr/ports/www/apache13-modssl
#make install clean \\ 安装 APACHE

#cd /usr/ports/lang/php4-extensions
#make install clean \\ 安装 PHP. 切记这里一定要选择安装GD库

#vi /usr/local/etc/apache/http.conf \\ 加入以下相关参数

AddType application/x-httpd-php .php
AddType application/x-httpd-php-source .phps

三,NFS Server-Client 的架设
NFS Server(center.the9.com)

#vi /etc/rc.conf \\ 加入以下相关参数

nfs_server_enable="YES"
nfs_server_flags="-u -t -n 4 -h 172.18.5.247"
mountd_enable="YES"
mountd_flags="-r -l"
rpcbind_enable="YES"
rpcbind_flags="-l -h 172.18.5.247"

#vi /etc/exports \\ 配置NFS共享目录

/cluster -maproot=0:0 -network 172.18.5.0 -mask 255.255.255.0

#/etc/rc.d/rpcbind start #/etc/rc.d/mountd start #/etc/rc.d/nfsd start \\ 启动NFS Server

NFS Client(node1.the9.com)

#vi /etc/rc.conf \\ 加入以下相关参数

nfs_client_enable="YES"

#vi /etc/fstab \\ 加入以下相关参数 172.18.5.247:/cluster /cluster nfs rw 0 0

#mount /cluster \\ Mount /Cluster 目录

四,LAM/MPI Cluster System的架设
Step 1: 基本安装
center.the9.com

#cd /usr/ports/net/lam
#make install clean \\ 安装 LAM

#cd /usr/ports/sysutils/ganglia-monitor-core
#make install clean \\ 安装Cluster System 所需的Monitor Core

#cd /usr/ports/sysutils/ganglia-webfrontend
#make install clean \\ 安装上面Monitor Core 所需的WEB GUI

node1.the9.com
#cd /usr/ports/net/lam
#make install clean \\ 安装 LAM

#cd /usr/ports/sysutils/ganglia-monitor-core
#make install clean \\ 安装Cluster System 所需的Monitor Core

Step 2: 配置

center.the9.com

#cd /usr/local/etc/
#cp gmond.conf.sample gmond.conf
#cp gmetad.conf.sample gmetad.conf

#vi gmond.conf \\ 修改name和mcast_if 的参数

# The name of the cluster this node is a part of
# default: "unspecified"
name "BSDCluster"

# The multicast interface for gmond to send/receive data on
# default: the kernel decides based on routing configuration
mcast_if lnc0

#vi gmetad.conf \\ 修改data_source 的参数

# data_source "my cluster" 10 localhost my.machine.edu:8649 1.2.3.5:8655
# data_source "my grid" 50 1.3.4.7:8655 grid.org:8651 grid-backup.org:8651
# data_source "another source" 1.3.4.7:8655 1.3.4.8

data_source "BSDCluster" 10 center.the9.com:8649 node1.the9.com:8649

#vi /usr/local/etc/lam-bhost.def \\ 加入各node 的hostname

center.the9.com
node1.the9.com

node1.the9.com \\ 基本上,每个新增节点的配置都要和以上center.the9.com 的配置一致.
node2.the9.com
nodeX.the9.com ........

五,Monitor WEB GUI 的配置
center.the9.com

#vi /usr/local/etc/apache/http.conf \\ 加入以下相关参数,配置Cluster Monitor Web的路径

Alias /ganglia/ "/usr/local/www/ganglia/"

Options Indexes FollowSymlinks MultiViews
AllowOverride None
Order allow,deny
Allow from all

#vi /etc/rc.conf \\ 加入以下参数

apache_enable="YES"
apache_flags="-DSSL"
apache_pidfile="/var/run/httpd.pid"

#/usr/local/etc/rc.d/apache.sh start \\ 启动APACHE

六,启动并调试Cluster System以及检查测试
center.the9.com node1.the9.com nodeX.the9.com etc....

#/usr/local/etc/rc.d/gmetad.sh start #/usr/local/etc/rc.d/gmond.sh start \\ 启动Cluster 各Node的Monitor Core

center.the9.com

$lamboot -dv \\ 启动各节点的lam daemon

LAM 6.5.9/MPI 2 C++/ROMIO - Indiana University

lamboot: boot schema file: /usr/local/etc/lam-bhost.def
lamboot: opening hostfile /usr/local/etc/lam-bhost.def
lamboot: found the following hosts:
lamboot: n0 center.the9.com
lamboot: n1 node1.the9.com
lamboot: resolved hosts:
lamboot: n0 center.the9.com --> 172.18.5.247
lamboot: n1 node1.the9.com --> 172.18.5.80
lamboot: found 2 host node(s)
lamboot: origin node is 0 (center.the9.com)
Executing hboot on n0 (center.the9.com - 1 CPU)...
lamboot: attempting to execute "hboot -t -c lam-conf.lam -d -v -I " -H 172.18.5.247 -P 53433 -n 0 -o 0 ""
hboot: process schema = "/usr/local/etc/lam-conf.lam"
hboot: found /usr/local/bin/lamd
hboot: performing tkill
hboot: tkill
hboot: booting...
hboot: fork /usr/local/bin/lamd
[1] 28338 lamd -H 172.18.5.247 -P 53433 -n 0 -o 0 -d
hboot: attempting to execute
Executing hboot on n1 (node1.the9.com - 1 CPU)...
lamboot: attempting to execute "/usr/bin/ssh node1.the9.com -n echo $SHELL"
lamboot: got remote shell /bin/sh
lamboot: attempting to execute "/usr/bin/ssh node1.the9.com -n (. ./.profile; hboot -t -c lam-conf.lam -d -v -s -I "-H 172.18.5.247 -P 53433 -n 1 -o 0 " )"
hboot: process schema = "/usr/local/etc/lam-conf.lam"
hboot: found /usr/local/bin/lamd
hboot: performing tkill
hboot: tkill
hboot: booting...
hboot: fork /usr/local/bin/lamd
[1] 43110 lamd -H 172.18.5.247 -P 53433 -n 1 -o 0 -d
topology done
lamboot completed successfully

$lamhalt -dv \\ 停止各节点的lam daemon

LAM 6.5.9/MPI 2 C++/ROMIO - Indiana University

Shutting down LAM
lamhalt: sending HALT to n1 (node1.the9.com)
lamhalt: waiting for HALT ACKs from remote LAM daemons
lamhalt: received HALT ACK from n1 (node1.the9.com)
lamhalt: sending final HALT to n0 (center.the9.com)
lamhalt: local LAM daemon halted
LAM halted

$lamnodes \\ 查看node info $lamexec N echo "hello" \\ 查看node run status

center.the9.com

#ps ax
28338 ?? I 0:00.04 /usr/local/bin/lamd -H 172.18.5.247 -P 53433 -n 0 -o 0 -d

node1.the9.com

#ps ax
43110 ?? S 0:00.05 /usr/local/bin/lamd -H 172.18.5.247 -P 53433 -n 1 -o 0 -d

Cluster Monitor WEB GUI

http://center.the9.com/ganglia/ \\ 用这个查看系统数据,还是很直观的,是以RRDTool 生成的 images. :)

CPUs Total: 2
Hosts up: 2
Hosts down: 0
Avg Load (15, 5, 1m):
1%, 4%, 0%
Localtime:
2004-12-31 10:50

Total CPUs: 2
Total Memory: 0.2 GB
Total Disk: 8.0 GB
Most Full Disk: 61.2% Used

参考
http://lam-mpi.org/ lam-mpi http://www.beowulf.org/ beowulf FAQ http://www.lasg.ac.cn/cgi-bin/forum/topic.cgi?forum=4&topic=2247 MPI Cluster With RH9 http://lists.freebsd.org/mailman/listinfo/freebsd-cluster freebsd cluster maillist