嵌入式开发linux awk命令深度详解

在我们初学嵌入式开发的时候，总会出现一个问题。那就是C语言和嵌入式C编程有什么区别?而嵌入式工程师一般都会告诉你，其区别在于嵌入式的C语言是跑在嵌入式的开发板上的，CPU和电脑不一样，所以编译器也是不一样的，生成的可执行程序也是不一样的。不同于一般形式的软件编程，基于特定的硬件平台嵌入式系统编程的，势必要求其编程语言具备较强的硬件直接操作能力。毫无疑问，汇编语言是具备这种特点的。然而，由于该语言编写开发过程的复杂性，通常不选择它用于嵌入式系统开发，而C语言是一种“低层次”的语言，已经成为嵌入式系统开发的选择。
　　

　　一、首先我们要明白嵌入式系统不是PC系统，是另一种独立操作系统。它包括硬件和软件两部分。硬件包括处理器/微处理器、存储器及外设器件和I/O端口、图形控制器等。软件部分包括操作系统软件(OS)(要求实时和多任务操作)和应用程序编程，有时设计人员把这两种软件组合在一起。应用程序控制着系统的运作和行为;而操作系统控制着应用程序编程与硬件的交互作用。
　　二、嵌入式微处理器是嵌入式系统控制。嵌入式微处理器主要功能有四大点a：
　　1、对实时多任务有很强的支持能力，能完成多任务并且有较短的中断响应时间，从而使内部的代码和实时内的执行时间减少到限度。
　　2、嵌入式微处理器必须功耗很低，尤其是用于便携式的无线及移动的计算和通信设备中靠电池供电的嵌入式系统，如需要功耗只有mW甚至μW级。
　　3、具有功能很强的存储区保护功能。这是由于嵌入式系统的软件结构已经模块化，而为了避免在软件模块之间出现错误的交叉作用，需要设计强大的存储区保护功能，同时也有利于软件诊断。
　　4、可扩展的处理器结构，以便能迅速地开发出满足应用的性能的嵌入式微处理器。
　　三、而嵌入式系统有别于其他操作系统的竞争力有六大特点：
　　1、嵌入式系统为了提高执行速度和系统可靠性，嵌入式系统中的软件一般都固化在存储器芯片或单片机本身中，而不是存贮于磁盘等载体中。
　　2、嵌入式系统的硬件和软件都必须高效率地设计，量体裁衣、去除冗余，力争在同样的硅片面积上实现更高的性能，这样才能在具体应用中对处理器的选择更具有竞争力。
　　3、嵌入式系统是将先进的计算机技术、半导体技术和电子技术与各个行业的具体应用相结合后的产物。这一点就决定了它必然是一个技术密集、资金密集、高度分散、不断创新的知识集成系统。
　　4、嵌入式系统本身不具备自举开发能力，即使设计完成以后用户通常也是不能对其中的程序功能进行修改的，必须有一套开发工具和环境才能进行开发。
　　5、嵌入式系统通常是面向特定应用的嵌入式CPU，与通用型的不同就是嵌入式CPU大多工作在为特定用户群设计的系统中，它通常都具有低功耗、体积小、集成度高等特点，能够把通用CPU中许多由板卡完成的任务集成在芯片内部，从而有利于嵌入式系统设计趋于小型化，移动能力大大增强，跟网络的耦合也越来越紧密。
　　6、嵌入式系统和具体应用有机地结合在一起，它的升级换代也是和具体产品同步进行，因此嵌入式系统产品一旦进入市场，具有较长的生命周期。
　　linux awk命令详解
　　awk是行处理器： 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息
　　awk处理过程： 依次对每一行进行处理，然后输出
　　awk命令形式：
　　awk ［-F|-f|-v］ ‘BEGIN{} //{command1; command2} END{}’ file
　　［-F|-f|-v］ 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
　　‘ ’ 引用代码块
　　BEGIN 初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
　　// 匹配代码块，可以是字符串或正则表达式
　　{} 命令代码块，包含一条或多条命令
　　； 多条命令使用分号分隔
　　END 结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行终计算或输出结尾摘要信息
　　特殊要点：
　　$0 表示整个当前行
　　$1 每行个字段
　　NF 字段数量变量
　　NR 每行的记录号，多文件记录递增
　　FNR 与NR类似，不过多文件记录不递增，每个文件都从1开始
　　\t 制表符
　　\n 换行符
　　FS BEGIN时定义分隔符
　　RS 输入的记录分隔符， 默认为换行符（即文本是按一行一行输入）
　　~ 匹配，与==相比不是比较
　　！~ 不匹配，不比较
　　== 等于，必须全部相等，比较
　　！= 不等于，比较
　　&&　 逻辑与
　　|| 逻辑或
　　+ 匹配时表示1个或1个以上
　　/［0-9］［0-9］+/ 两个或两个以上数字
　　/［0-9］［0-9］*/ 一个或一个以上数字
　　FILENAME 文件名
　　OFS 输出字段分隔符， 默认也是空格，可以改为制表符等
　　ORS 输出的记录分隔符，默认为换行符，即处理结果也是一行一行输出到屏幕
　　-F‘［：#/］’ 定义三个分隔符
　　print & $0
　　print 是awk打印指定内容的主要命令
　　awk ‘{print}’ /etc/passwd == awk ‘{print $0}’ /etc/passwd
　　awk ‘{print “ ”}’ /etc/passwd //不输出passwd的内容，而是输出相同个数的空行，进一步解释了awk是一行一行处理文本
　　awk ‘{print “a”}’ /etc/passwd //输出相同个数的a行，一行只有一个a字母
　　awk -F“：” ‘{print $1}’ /etc/passwd
　　awk -F： ‘{print $1; print $2}’ /etc/passwd //将每一行的前二个字段，分行输出，进一步理解一行一行处理文本
　　awk -F： ‘{print $1，$3，$6}’ OFS=“\t” /etc/passwd //输出字段1，3，6，以制表符作为分隔符
　　-f指定脚本文件
　　awk -f script.awk file
　　BEGIN{
　　FS=“：”
　　}
　　{print $1} //效果与awk -F“：” ‘{print $1}’相同，只是分隔符使用FS在代码自身中指定
　　awk ‘BEGIN{X=0} /^$/{ X+=1 } END{print “I find”，X，“blank lines.”}’ test
　　I find 4 blank lines.
　　ls -l|awk ‘BEGIN{sum=0} ！/^d/{sum+=$5} END{print “total size is”，sum}’ //计算文件大小
　　total size is 17487
　　-F指定分隔符
　　$1 指指定分隔符后，个字段，$3第三个字段， \t是制表符
　　一个或多个连续的空格或制表符看做一个定界符，即多个空格看做一个空格
　　awk -F“：” ‘{print $1}’ /etc/passwd
　　awk -F“：” ‘{print $1 $3}’ /etc/passwd //$1与$3相连输出，不分隔
　　awk -F“：” ‘{print $1，$3}’ /etc/passwd //多了一个逗号，$1与$3使用空格分隔
　　awk -F“：” ‘{print $1 “ ” $3}’ /etc/passwd //$1与$3之间手动添加空格分隔
　　awk -F“：” ‘{print “Username：” $1 “\t\t Uid：” $3 }’ /etc/passwd //自定义输出
　　awk -F： ‘{print NF}’ /etc/passwd //显示每行有多少字段
　　awk -F： ‘{print $NF}’ /etc/passwd //将每行第NF个字段的值打印出来
　　awk -F： ‘NF==4 {print }’ /etc/passwd //显示只有4个字段的行
　　awk -F： ‘NF》2{print $0}’ /etc/passwd //显示每行字段数量大于2的行
　　awk ‘{print NR，$0}’ /etc/passwd //输出每行的行号
　　awk -F： ‘{print NR，NF，$NF，“\t”，$0}’ /etc/passwd //依次打印行号，字段数，字段值，制表符，每行内容
　　awk -F： ‘NR==5{print}’ /etc/passwd //显示第5行
　　awk -F： ‘NR==5 || NR==6{print}’ /etc/passwd //显示第5行和第6行
　　route -n|awk ‘NR！=1{print}’ //不显示行
　　//匹配代码块
　　//纯字符匹配 ！//纯字符不匹配 ~//字段值匹配 ！~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2
　　awk ‘/mysql/’ /etc/passwd
　　awk ‘/mysql/{print }’ /etc/passwd
　　awk ‘/mysql/{print $0}’ /etc/passwd //三条指令结果一样
　　awk ‘！/mysql/{print $0}’ /etc/passwd //输出不匹配mysql的行
　　awk ‘/mysql|mail/{print}’ /etc/passwd
　　awk ‘！/mysql|mail/{print}’ /etc/passwd
　　awk -F： ‘/mail/，/mysql/{print}’ /etc/passwd //区间匹配
　　awk ‘/［2］［7］［7］*/{print $0}’ /etc/passwd //匹配包含27为数字开头的行，如27，277，2777.。。
　　awk -F： ‘$1~/mail/{print $1}’ /etc/passwd //$1匹配指定内容才显示
　　awk -F： ‘{if（$1~/mail/） print $1}’ /etc/passwd //与上面相同
　　awk -F： ‘$1！~/mail/{print $1}’ /etc/passwd //不匹配
　　awk -F： ‘$1！~/mail|mysql/{print $1}’ /etc/passwd
　　IF语句
　　必须用在{}中，且比较内容用（）扩起来
　　awk -F： ‘{if（$1~/mail/） print $1}’ /etc/passwd //简写
　　awk -F： ‘{if（$1~/mail/） {print $1}}’ /etc/passwd //全写
　　awk -F： ‘{if（$1~/mail/） {print $1} else {print $2}}’ /etc/passwd //if.。.else.。。
　　条件表达式
　　== ！= 》 》=
　　awk -F“：” ‘$1==“mysql”{print $3}’ /etc/passwd
　　awk -F“：” ‘{if（$1==“mysql”） print $3}’ /etc/passwd //与上面相同
　　awk -F“：” ‘$1！=“mysql”{print $3}’ /etc/passwd //不等于
　　awk -F“：” ‘$3》1000{print $3}’ /etc/passwd //大于
　　awk -F“：” ‘$3》=100{print $3}’ /etc/passwd //大于等于
　　awk -F“：” ‘$3《1{print $3}’ /etc/passwd //小于
　　awk -F“：” ‘$3《=1{print $3}’ /etc/passwd //小于等于
　　逻辑运算符
　　&&　||
　　awk -F： ‘$1~/mail/ && $3》8 {print }’ /etc/passwd //逻辑与，$1匹配mail，并且$3》8
　　awk -F： ‘{if（$1~/mail/ && $3》8） print }’ /etc/passwd
　　awk -F： ‘$1~/mail/ || $3》1000 {print }’ /etc/passwd //逻辑或
　　awk -F： ‘{if（$1~/mail/ || $3》1000） print }’ /etc/passwd
　　数值运算
　　awk -F： ‘$3 》 100’ /etc/passwd
　　awk -F： ‘$3 》 100 || $3 《 5’ /etc/passwd
　　awk -F： ‘$3+$4 》 200’ /etc/passwd
　　awk -F： ‘/mysql|mail/{print $3+10}’ /etc/passwd //第三个字段加10打印
　　awk -F： ‘/mysql/{print $3-$4}’ /etc/passwd //减法
　　awk -F： ‘/mysql/{print $3*$4}’ /etc/passwd //求乘积
　　awk ‘/MemFree/{print $2/1024}’ /proc/meminfo //除法
　　awk ‘/MemFree/{print int（$2/1024）}’ /proc/meminfo //取整
　　输出分隔符OFS
　　awk ‘$6 ~ /FIN/ || NR==1 {print NR，$4，$5，$6}’ OFS=“\t” netstat.txt
　　awk ‘$6 ~ /WAIT/ || NR==1 {print NR，$4，$5，$6}’ OFS=“\t” netstat.txt
　　//输出字段6匹配WAIT的行，其中输出每行行号，字段4，5，6，并使用制表符分割字段
　　输出处理结果到文件
　　①在命令代码块中直接输出 route -n|awk ‘NR！=1{print 》 “。/fs”}’
　　②使用重定向进行输出 route -n|awk ‘NR！=1{print}’ 》 。/fs
　　格式化输出
　　netstat -anp|awk ‘{printf “%-8s %-8s %-10s\n”，$1，$2，$3}’
　　printf表示格式输出
　　%格式化输出分隔符
　　-8长度为8个字符
　　s表示字符串类型
　　打印每行前三个字段，指定个字段输出字符串类型（长度为8），第二个字段输出字符串类型（长度为8），
　　第三个字段输出字符串类型（长度为10）
　　netstat -anp|awk ‘$6==“LISTEN” || NR==1 {printf “%-10s %-10s %-10s \n”，$1，$2，$3}’
　　netstat -anp|awk ‘$6==“LISTEN” || NR==1 {printf “%-3s %-10s %-10s %-10s \n”，NR，$1，$2，$3}’
　　IF语句
　　awk -F： ‘{if（$3》100） print “large”; else print “small”}’ /etc/passwd
　　small
　　small
　　small
　　large
　　small
　　small
　　awk -F： ‘BEGIN{A=0;B=0} {if（$3》100） {A++; print “large”} else {B++; print “small”}} END{print A，“\t”，B}’ /etc/passwd
　　//ID大于100，A加1，否则B加1
　　awk -F： ‘{if（$3《100） next; else print}’ /etc/passwd //小于100跳过，否则显示
　　awk -F： ‘BEGIN{i=1} {if（i《NF） print NR，NF，i++ }’ /etc/passwd
　　awk -F： ‘BEGIN{i=1} {if（i《NF） {print NR，NF} i++ }’ /etc/passwd
　　另一种形式
　　awk -F： ‘{print （$3》100 ？ “yes”：“no”）}’ /etc/passwd
　　awk -F： ‘{print （$3》100 ？ $3“：\tyes”：$3“：\tno”）}’ /etc/passwd
　　while语句
　　awk -F： ‘BEGIN{i=1} {while（i《NF） print NF，$i，i++}’ /etc/passwd
　　7 root 1
　　7 x 2
　　7 0 3
　　7 0 4
　　7 root 5
　　7 /root 6
　　数组
　　netstat -anp|awk ‘NR！=1{a［$6］++} END{for （i in a） print i，“\t”，a［i］}’
　　netstat -anp|awk ‘NR！=1{a［$6］++} END{for （i in a） printf “%-20s %-10s %-5s \n”， i，“\t”，a［i］}’
　　9523 1
　　9929 1
　　LISTEN 6
　　7903 1
　　3038/cupsd 1
　　7913 1
　　10837 1
　　9833 1
　　应用1
　　awk -F： ‘{print NF}’ helloworld.sh //输出文件每行有多少字段
　　awk -F： ‘{print $1，$2，$3，$4，$5}’ helloworld.sh //输出前5个字段
　　awk -F： ‘{print $1，$2，$3，$4，$5}’ OFS=‘\t’ helloworld.sh //输出前5个字段并使用制表符分隔输出
　　awk -F： ‘{print NR，$1，$2，$3，$4，$5}’ OFS=‘\t’ helloworld.sh //制表符分隔输出前5个字段，并打印行号
　　应用2
　　awk -F‘［：#］’ ‘{print NF}’ helloworld.sh //指定多个分隔符： #，输出每行多少字段
　　awk -F‘［：#］’ ‘{print $1，$2，$3，$4，$5，$6，$7}’ OFS=‘\t’ helloworld.sh //制表符分隔输出多字段
　　应用3
　　awk -F‘［：#/］’ ‘{print NF}’ helloworld.sh //指定三个分隔符，并输出每行字段数
　　awk -F‘［：#/］’ ‘{print $1，$2，$3，$4，$5，$6，$7，$8，$9，$10，$11，$12}’ helloworld.sh //制表符分隔输出多字段
　　应用4
　　计算/home目录下，普通文件的大小，使用KB作为单位
　　ls -l|awk ‘BEGIN{sum=0} ！/^d/{sum+=$5} END{print “total size is：”，sum/1024，“KB”}’
　　ls -l|awk ‘BEGIN{sum=0} ！/^d/{sum+=$5} END{print “total size is：”，int（sum/1024），“KB”}’ //int是取整的意思
　　应用5
　　统计netstat -anp 状态为LISTEN和CONNECT的连接数量分别是多少
　　netstat -anp|awk ‘$6~/LISTEN|CONNECTED/{sum［$6］++} END{for （i in sum） printf “%-10s %-6s %-3s \n”， i，“ ”，sum［i］}’
　　应用6
　　统计/home目录下不同用户的普通文件的总数是多少？
　　ls -l|awk ‘NR！=1 && ！/^d/{sum［$3］++} END{for （i in sum） printf “%-6s %-5s %-3s \n”，i，“ ”，sum［i］}’
　　mysql 199
　　root 374
　　统计/home目录下不同用户的普通文件的大小总size是多少？
　　ls -l|awk ‘NR！=1 && ！/^d/{sum［$3］+=$5} END{for （i in sum） printf “%-6s %-5s %-3s %-2s \n”，i，“ ”，sum［i］/1024/1024，“MB”}’
　　应用7
　　输出成绩表
　　awk ‘BEGIN{math=0;eng=0;com=0;printf “Lineno. Name No. Math English Computer Total\n”;printf “------------------------------------------------------------\n”}{math+=$3; eng+=$4; com+=$5;printf “%-8s %-7s %-7s %-7s %-9s %-10s %-7s \n”，NR，$1，$2，$3，$4，$5，$3+$4+$5} END{printf “------------------------------------------------------------\n”;printf “%-24s %-7s %-9s %-20s \n”，“Total：”，math，eng，com;printf “%-24s %-7s %-9s %-20s \n”，“Avg：”，math/NR，eng/NR，com/NR}’ test0
　　Marry 2143 78 84 77
　　Jack 2321 66 78 45
　　Tom 2122 48 77 71
　　Mike 2537 87 97 95
　　Bob 2415 40 57 62