作者告訴我們：到目前為止基礎(chǔ)已經(jīng)搞定，可以將前邊所學(xué)結(jié)合shell變成進(jìn)軍中等難度的任務(wù)了。激動(dòng)的要哭了，終于看到本書結(jié)束的曙光了 T T 。碼字比碼代碼還辛苦。不過令人興奮的是立刻就學(xué)以致用了，花了一天半的時(shí)間處理了一個(gè)3.8G的服務(wù)器日志文件，你妹啊，破電腦內(nèi)存才2G。不過切割化小然后寫了幾個(gè)awk文件和sh文件按規(guī)則處理合并，算是搞定了！

第十一章擴(kuò)展實(shí)例：合并用戶數(shù)據(jù)庫(kù)

問題描述就是有兩臺(tái)UNIX的計(jì)算機(jī)系統(tǒng)，這兩個(gè)系統(tǒng)現(xiàn)在要合并，用戶群同樣需要合并。有許多用戶兩臺(tái)系統(tǒng)上都有帳號(hào)?，F(xiàn)在合并需要的功能是：
將兩個(gè)系統(tǒng)里的/etc/passwd文件合并，并確保來(lái)自這兩臺(tái)系統(tǒng)的所有用戶有唯一UID。
針對(duì)已存在的UID、但被用在不同用戶身上的情況，則將其所有文件的所有權(quán)變更為正確用戶。

解決這個(gè)問題，我們程序必須處理的情況可能有這些：
1、用戶在兩個(gè)系統(tǒng)都有用戶名和UID。
2、用戶的用戶名和UID只有一臺(tái)系統(tǒng)里有，另一臺(tái)沒有，這合并時(shí)不會(huì)有問題。
3、用戶在兩臺(tái)系統(tǒng)都有相同的用戶名但UID不同。
4、用戶在兩臺(tái)系統(tǒng)擁有相同UID但用戶名不同。

合并密碼文件幾個(gè)步驟：
1、直接物理合并文件，重復(fù)的username聚在一起，產(chǎn)生結(jié)果為下步輸入。
2、將合并文件分三分：具有相同username和UID的用戶放入unique，未重復(fù)的用戶username也放入。具有相同username但不同UID的放入dupusers，具有相同UID但不同username的放入dupids。
3、建立已使用中具有唯一性的UID編號(hào)列表?？捎脕?lái)尋找新的未使用UID。
4、編寫另一個(gè)程序，搭配使用UID編號(hào)了解，尋找新的UID編號(hào)。
5、建立用以產(chǎn)生最后/etc/passwd記錄的三項(xiàng)組合（username、old UID、new UID）列表。還有最重要的：產(chǎn)生命令，以變更文件系統(tǒng)中文件的所有權(quán)。與此同時(shí)，針對(duì)原來(lái)就擁有數(shù)個(gè)UID的用戶以及同一UID擁有多個(gè)用戶，建立最后的密碼文件項(xiàng)目。
6、建立最終密碼文件。
7、建立變更文件所有權(quán)的命令列表，并執(zhí)行，這部分要謹(jǐn)慎處理，小心規(guī)劃。

這里書中針對(duì)上述步驟書寫了程序，很大一部分代碼是處理UID的，個(gè)人感覺全部使用新的UID來(lái)重新映射username，不是很簡(jiǎn)單就搞定一切了。只用把所有出現(xiàn)的username記錄出來(lái)，重復(fù)的干掉，再順序給出對(duì)應(yīng)UID，很簡(jiǎn)單幾步搞定了。至于之后根據(jù)old UID更改文件權(quán)限，完全可以做新舊UID的映射，直接改到新的里邊就OK了。這樣想來(lái)如果更改文件權(quán)限是程序主要耗時(shí)部分的話，書中原方法還是可取的，只是編碼復(fù)雜度較高。如果更改權(quán)限耗時(shí)能夠承受，還是選擇編碼復(fù)雜度低的來(lái)搞速度還快點(diǎn)，也方便。

這里更改文件權(quán)限使用chown命令，可以更改文件擁有用戶或用戶組。-R選項(xiàng)遞歸處理。但出現(xiàn)的問題是用戶擁有的文件未必只放在用戶根目錄里。所以更改用戶在每一個(gè)地方的文件需要使用find命令，從根目錄開始做。類似這樣：
find / -user $user -exec chown $newuid '{}' \;
-exec選項(xiàng)會(huì)針對(duì)每一個(gè)與條件比對(duì)相符的文件執(zhí)行接下來(lái)的所有參數(shù)，直到分號(hào)為止。find命令里的{}意指替換找到的文件名稱至命令。這樣使用find代碼很高，因?yàn)樗鼤?huì)針對(duì)每一個(gè)文件或目錄建立一個(gè)新的chown進(jìn)程?？梢蕴鎿Q成：
find / -user $user -print | xargs chown $newuid
#有GNU工具集可以：
find / -user $user -print0 | xargs --null chown $newuid
這樣就把所有需要更改的文件傳送至一個(gè)新的進(jìn)程來(lái)處理，而不是很多個(gè)。

這里有個(gè)另外的問題，加入old-new-list里的數(shù)據(jù)這樣：
juser 25 10
mrwizard 10 30
也就是說(shuō)如果先變更juser，把juser的文件權(quán)限UID25變更為UID10以后，再變更mrwizard的時(shí)候問題就來(lái)了，程序會(huì)把之前所有的juser的文件當(dāng)成mrwizard的文件。這時(shí)就牽扯到處理順序問題，我們必須在25變成10之前，把10變成30。解決方法也簡(jiǎn)單，給所有的UID編號(hào)是沒有任何地方使用過即可。

這里還剩最后一個(gè)小問題，就是find命令尋找用戶的時(shí)候，注意我們問題的環(huán)境，目前是有兩臺(tái)服務(wù)器，find尋找用戶的時(shí)候是有可能找不到另一臺(tái)服務(wù)器用戶的。需要作出處理。

再說(shuō)一下我們解決這個(gè)問題時(shí)規(guī)避的一些真實(shí)世界的問題。最明顯的是我們很可能也需要合并/etc/group文件。再者，任何一個(gè)大型的系統(tǒng)，都可能會(huì)出現(xiàn)文件擁有已不存在于/etc/passwd與/etc/group里的UID或GID值，尋找這里文件可以這樣：
find / '(' -nouser -o -nogroup ')' -ls
這樣做將產(chǎn)生所有這樣的文件輸出?？梢允褂霉艿肋M(jìn)一步處理xargs chown...這樣。
第三點(diǎn)是在改變文件的用戶與組處理期間，文件系統(tǒng)絕對(duì)得靜止。處理時(shí)不應(yīng)該有任何其他活動(dòng)發(fā)生，使系統(tǒng)處于單用戶模式下root登錄，且只能在系統(tǒng)物理console設(shè)備上完成這個(gè)任務(wù)。
最后就是效率問題，每個(gè)用戶都需要跑一遍find是很不劃算的，我們可以跑一遍來(lái)處理所有用戶的文件，類似這樣：
find / -ls | awk -f make-command.awk old-to-new.txt - > /tmp/commands/sh ... 在執(zhí)行前先檢查 /tmp/commands/sh ... sh / tmp/commands/sh
類似這樣。先讀取old-to-new.txt的舊換新UID變更，然后awk會(huì)針對(duì)每一個(gè)輸出文件尋找是否有必須被更改，如果要更改則使用chown命令。

詳細(xì)代碼之類的略過吧，沒特殊算法，都很簡(jiǎn)單。

第十二章拼寫檢查

最初的unix拼寫檢查原型為代碼說(shuō)一下：

后續(xù)的有改良的命令ispell和aspell，有一個(gè)不錯(cuò)的功能就是可以提供本地有效的單詞拼寫列表，如：spell +/usr/local/lib/local.words myfile > myfile.errs
針對(duì)所寫文檔提供哦功能私有拼寫字典，非常重要，這能使拼寫檢查更高效準(zhǔn)確。但是spell還有一些棘手的事情，即locale變動(dòng)后會(huì)使命令達(dá)不到預(yù)期效果如：

默認(rèn)的locale在操作系統(tǒng)版本之間可能有所不同。因此最好的方式便是將LC_ALL環(huán)境變量設(shè)置與私人字典排序一致，再執(zhí)行spell。env命令的作用是在重建的環(huán)境中運(yùn)行命令。

書中展現(xiàn)了spell的awk版本，也展現(xiàn)awk的強(qiáng)大。為引導(dǎo)程序進(jìn)行，先列出我們預(yù)期的設(shè)計(jì)目標(biāo)：
1、程序?qū)?huì)能夠讀取文字?jǐn)?shù)據(jù)流、隔離單詞、以及報(bào)告不在已知單詞列表的單詞。
2、將會(huì)有一個(gè)默認(rèn)的單詞列表，由一個(gè)或多個(gè)系統(tǒng)字典收集而成。
3、它將可能取代默認(rèn)的單詞列表。
4、標(biāo)準(zhǔn)單詞列表將有可能由一個(gè)或多個(gè)用戶所提供的單詞列表而擴(kuò)增。該列表在技術(shù)性文件上特別有用，例如首字母縮寫、術(shù)語(yǔ)及專有名詞等。
5、單詞列表將無(wú)須排序。
6、雖然默認(rèn)單詞列表都是英文，但輔以適當(dāng)?shù)奶娲詥卧~列表，程序?qū)⒖赡芴幚砣魏握Z(yǔ)言的文字，只要它是以基礎(chǔ)為ASCII的字符集呈現(xiàn)，以空白字符分隔單詞。
7、忽略字母大小寫，讓單詞列表維持在易于管理的大小，但異常報(bào)告采用原大小寫。
8、忽略標(biāo)點(diǎn)符號(hào)，但頓點(diǎn)符號(hào)（縮寫的撇）將視為字母。
9、默認(rèn)的報(bào)告將為排序后具有獨(dú)一無(wú)二單詞的列表以一行一個(gè)單詞的方式呈現(xiàn)。為拼寫異常列表。
10、將可通過選項(xiàng)增加異常列表報(bào)告，并有位置信息，如文件名行號(hào)等，以利于尋找異常單詞。報(bào)告將以位置排序，且當(dāng)他們?cè)谕晃恢冒l(fā)現(xiàn)多個(gè)異常時(shí)，則進(jìn)一步依異常單詞排序。
11、支持用戶可指定的后綴縮寫，讓單詞列表保持在易于管理的大小。

又是很長(zhǎng)的代碼，碼的頭暈。。。不保證全對(duì)，注釋也先不寫了。執(zhí)行命令：
$ awk -f spell.awk testfile

這里針對(duì)搞算法競(jìng)賽的同學(xué)說(shuō)一點(diǎn)，shell腳本里的高效，怎么樣叫高效，我也是搞競(jìng)賽的，總是追求程序運(yùn)行時(shí)的效率，但是在shell腳本里追求的是總體效率。完成一個(gè)任務(wù)假如編碼時(shí)間用了1個(gè)小時(shí)，最終完成的代碼運(yùn)行花30秒鐘，和為了優(yōu)化程序提高運(yùn)行效率而編碼時(shí)間花了2個(gè)小時(shí)乃至更多時(shí)間，最后運(yùn)行代碼時(shí)間縮減，無(wú)論縮減多少，我們都認(rèn)為這個(gè)優(yōu)化還是不太值得肯定的。這里不是否定代碼運(yùn)行效率，而是要平衡這個(gè)編碼時(shí)間。而且shell目前我感覺應(yīng)該是線下運(yùn)行的程序多，不是在線運(yùn)行的程序，所以時(shí)間上的要求可以放寬很多。所以我們要做的就是完成一個(gè)任務(wù)花費(fèi)更少的時(shí)間就好。個(gè)人感覺，不對(duì)了感謝指正。

第十三章進(jìn)程

進(jìn)程是一個(gè)執(zhí)行中程序的一個(gè)實(shí)例，新進(jìn)程由fork()與execve()等系統(tǒng)調(diào)用所起始執(zhí)行直到exit()為止。進(jìn)程會(huì)被指定優(yōu)先權(quán)，nice和renice命令用于調(diào)整進(jìn)程的優(yōu)先權(quán)。任何瞬間，等待執(zhí)行之進(jìn)程的平均數(shù)，被成為平均負(fù)載，uptime命令可顯示。
列出進(jìn)程狀態(tài)的命令是ps（process status）。System V形式下：ps -efl顯示更多信息，BSD形式是ps aux 。進(jìn)程列表是動(dòng)態(tài)的，如果想觀察動(dòng)態(tài)的，可以使用top命令。

shell程序處理下一個(gè)命令之前會(huì)等待前一條命令結(jié)束，但是在命令最后加入可以使其在后臺(tái)運(yùn)行，便可不用等待上一個(gè)命令了。wait命令可以用來(lái)等待某個(gè)特定進(jìn)程完成，在不加任何參數(shù)情況下，則為等待所有后臺(tái)進(jìn)程完成。另外控制的還有bg、fg、jobs等都處理目前shell下所建立的執(zhí)行中的進(jìn)程。

有4組鍵盤字符可用以中斷前臺(tái)進(jìn)程，這些字符可通過stty命令選項(xiàng)而設(shè)置。一般是Ctrl-C(intr：殺除)、Ctrl-Y（dsusp：暫時(shí)擱置，直到輸入更新為止）、Ctrl-Z（susp：暫時(shí)擱置），與Ctrl-\（quit：以核心存儲(chǔ)方式殺除）。

用上邊的幾個(gè)命令實(shí)現(xiàn)一個(gè)簡(jiǎn)單的top命令：

再實(shí)現(xiàn)一個(gè)針對(duì)user查詢的腳本：

進(jìn)程列表有了，如何控制或者刪除某一個(gè)進(jìn)程呢。之前有說(shuō)exit（）能讓進(jìn)程終止，但有時(shí)候我們會(huì)提前終止，這時(shí)我們需要kill命令。kill命令會(huì)傳送信號(hào)（signal）給指定的執(zhí)行程序，不過它有兩個(gè)例外，稍后提到。進(jìn)程接到信號(hào)，并處理之，有時(shí)可能直接選擇忽略它們。只有進(jìn)程擁有者或root、內(nèi)核、進(jìn)程本身可以傳送信號(hào)給它。但是接收信號(hào)的進(jìn)程本身無(wú)法判斷信號(hào)從何而來(lái)。不同的系統(tǒng)支持不同的信號(hào)類型，你可以通過kill -l 來(lái)列出你當(dāng)前使用的系統(tǒng)支持的信號(hào)類型。每個(gè)處理信號(hào)的程序都可以自由決定如何解決接到的這些信號(hào)。信號(hào)名稱反應(yīng)的是慣用性（conventions），而非必須性（requirement），所以對(duì)不同的程序而言，信號(hào)所表示的意義也會(huì)稍有不同。

kill pid 就可以直接終止進(jìn)程。控制進(jìn)程的話，就使用剛才kill -l羅列出來(lái)的進(jìn)程信號(hào)，用法：kill[-ssignal|-p][-a]pid... 需要自行了解自己系統(tǒng)的進(jìn)程信號(hào)。比如：

刪除進(jìn)程必須直到四個(gè)信號(hào)：ABRT（中斷）、HUP（擱置）、KILL、TERM（終結(jié)）。不同系統(tǒng)有所不同貌似，可以查看一下，名字應(yīng)該類似：
kill -l | grep -e "KILL\|BRT\|HUP\|TERM"

有些程序會(huì)在結(jié)束前做些清理工作，一般TERM信號(hào)解釋為“快速清理并結(jié)束”，如果未指定信號(hào)，默認(rèn)的kill會(huì)傳送此信號(hào)。ABRT類似TERM它會(huì)抑制清除操作，并產(chǎn)生進(jìn)程內(nèi)的影像的副本。HUP類似要求中止，時(shí)常表示進(jìn)程應(yīng)該先停止正在處理的事情，然后準(zhǔn)備處理新工作。有兩個(gè)進(jìn)程沒有任何進(jìn)程可以忽略的：KILL和STOP，這兩個(gè)信號(hào)一定會(huì)立刻被傳送，但是也有特例情況，根據(jù)實(shí)際情況也可能會(huì)被延時(shí)的。不同系統(tǒng)平臺(tái)有差異。

小心使用這些終止命令。當(dāng)程序非正常中止，都可能在文件系統(tǒng)留下殘余數(shù)據(jù)，這些殘余數(shù)據(jù)除了浪費(fèi)空間，還可能導(dǎo)致下次執(zhí)行程序發(fā)生問題。比如：daemon、郵件客戶端程序、文字編輯器、以及網(wǎng)頁(yè)瀏覽器都會(huì)產(chǎn)生鎖定（lock）。如果程序第二實(shí)例被啟動(dòng)，而第一實(shí)例仍在執(zhí)行時(shí)，第二個(gè)實(shí)例會(huì)偵測(cè)到已存在的lock，回報(bào)該事實(shí)并立即中止。最糟糕的是，這些程序很少會(huì)告訴你lock文件的文件名，并很少將它寫入文件里。如果該lock文件長(zhǎng)期執(zhí)行進(jìn)程的殘余數(shù)據(jù)，你可能發(fā)現(xiàn)程序無(wú)法執(zhí)行，直到你找到lock并刪除為止。

有的系統(tǒng)提供pgrep和pkill。它們能根據(jù)進(jìn)程名稱結(jié)束進(jìn)程，詳細(xì)自行看manual。

關(guān)于捕捉進(jìn)程信號(hào)。進(jìn)程會(huì)向內(nèi)核注冊(cè)哪些它們想要處理的信號(hào)。它們標(biāo)明在signal（）程序庫(kù)調(diào)用的參數(shù)里。man -a signal 可以查看所有關(guān)于信號(hào)的manual。trap可引起shell注冊(cè)信號(hào)處理器（signal handler），抓取指定的信號(hào)。trap取得一個(gè)字符串參數(shù)，其包含采取捕捉時(shí)要被執(zhí)行的命令列表，緊接著一個(gè)要設(shè)置捕捉的信號(hào)列表。

下邊展示一個(gè)小型shell腳本：looper，它的功能是使用trap命令，說(shuō)明被抓取（caught）與未被抓取的信號(hào)。

$ looper #運(yùn)行這個(gè)腳本于后臺(tái)
[1] 24179
$ kill -HUP 24179
Ignoring HUP ...
$ kill -USR1 24179
Terminating on USR1 ...
[1]+Done(1)

其他進(jìn)程控制命令自行測(cè)試，或者搜文章學(xué)習(xí)。后邊又講了一些進(jìn)程的日志。

進(jìn)程延遲。sleep命令暫停執(zhí)行一段時(shí)間后喚醒。at是延遲至特定時(shí)間，這個(gè)命令在不同系統(tǒng)有差異，但下列例子普遍適用：
at 21:00 #晚上9點(diǎn)執(zhí)行
at now #立刻執(zhí)行
at now + 10 minutes #10分鐘后執(zhí)行
at now + 8 hours
at 0400 tomorrow #明天早上4點(diǎn)執(zhí)行
at 14 July
at noon + 15 minutes #今天下午12：15執(zhí)行
at teatime #下午16：00執(zhí)行
at允許相當(dāng)復(fù)雜的時(shí)間指定 。接受HH:MM的時(shí)間式樣，如果時(shí)間過了則為第二天這個(gè)時(shí)間。midnight是午夜，noon中午，teatime下午4點(diǎn)，也可以適用AM或PM后綴指定上下午，也可以month-name dat加上可選的年份式樣來(lái)指定日期，或者給出MMDDYY、MM/DD/YY或DD.MM.YY來(lái)執(zhí)行日期。日期單位有minutes hours days weeks ，還有today、tomorrow。

atq命令列出at隊(duì)列里的所有工作，而atrm則是刪除它們。batch在系統(tǒng)負(fù)載水平允許的時(shí)候執(zhí)行命令，換句話說(shuō)當(dāng)平均負(fù)載低于0.8或降到了在atrun文件中指定的期望值時(shí)運(yùn)行。

大部分計(jì)算機(jī)有許多管理工作需要重復(fù)執(zhí)行，像每晚文件系統(tǒng)備份之類的。crontab命令可在指定的時(shí)間執(zhí)行工作，其包括了系統(tǒng)啟動(dòng)時(shí)起始的cron daemon。crontab -l 列出你目前工作調(diào)度，以crontab -e啟動(dòng)編輯器更新調(diào)度。編輯器的選擇根據(jù)EDITOR環(huán)境變量而定，有些計(jì)算機(jī)會(huì)因?yàn)槲丛O(shè)置此參數(shù)而拒絕執(zhí)行crontab。crontab適用的調(diào)度參數(shù)：

前5欄除了使用單一數(shù)字外，還可以搭配連字符分隔，指出一段區(qū)間，或者使用逗點(diǎn)分隔數(shù)字列表或區(qū)間。還可以使用星號(hào)，指該字段所有可能數(shù)字。范例：
15 * * * * command # 每個(gè)小時(shí)的第15分鐘執(zhí)行
0 2 1 * * command # 每個(gè)月一開始的02：00執(zhí)行
0 8 1 1,7 * command # 每個(gè)一月一日與七月一日的08：00執(zhí)行
0 6 * * 1 command # 每周一06：00執(zhí)行
0 8-17 * * 0,6 command # 每周末的08：00到17：00間一小時(shí)執(zhí)行一次
在command可以詳細(xì)指出要執(zhí)行的文件或重新設(shè)定要執(zhí)行文件的查找路徑：
0 4 * * * /usr/local/bin/updatedb
0 4 * * * PATH=/usr/local/bin:$PATH updatedb
任何出現(xiàn)在標(biāo)準(zhǔn)錯(cuò)誤輸出或標(biāo)準(zhǔn)輸出上的數(shù)據(jù)都會(huì)顯示給你，或是在其他實(shí)例中，將會(huì)寄到MAILTO變量的值所指定的用戶。實(shí)物上通常會(huì)比較傾向與將輸出重導(dǎo)至一個(gè)日志文件，并累積連續(xù)執(zhí)行的記錄：
55 23 * * * $HOME/bin/daily >> $HOME/logs/daily.log 2>1
這樣日志文件會(huì)過大，一般可以加上日期：
55 23 * * * $HOME/bin/daily > $HOME/logs/daily.`date +\%Y.\%m.\%d`.log 2>1
這樣時(shí)間長(zhǎng)了文件會(huì)過多，你可以輕松刪除或壓縮這些文件：
find $HOME/logs/*.log -ctime +31 | xargs bzip2 -9 #壓縮一個(gè)月前的日志文件
find $HOME/logs/*.log -ctime +31 | xargs rm #刪除一個(gè)月前的日志文件
這里小心crontab -r 將crontab文件整個(gè)刪除。它就像rm一樣無(wú)法撤回，也無(wú)法復(fù)原。建議保留備份：
crontab -l > $HOME/.crontab.`hostname` #存儲(chǔ)現(xiàn)行的crontab
恢復(fù)的時(shí)候：
crontab $HOME/.crontab.`hostname` #回復(fù)存儲(chǔ)的crontab
就像at命令那樣，系統(tǒng)目錄里也有cron.allow與cron.deny文件，用以控制是否允許cron工作，以及誰(shuí)可以執(zhí)行它們。

最后講了一下/proc文件系統(tǒng)，大概意思是每個(gè)子進(jìn)程在那里有個(gè)目錄用進(jìn)程ID命令。