在我们的日常工作中,经常需要通过命令行工具来处理文本数据。而在Linux系统中,bash管道(pipe)是一个非常强大的工具,可以将一个命令的输出作为另一个命令的输入。但是,当我们通过管道接收到一大段文本流时,如何有效地读取和格式化这些数据呢?本文将为大家介绍一些实用的技巧和方法,帮助你更好地处理通过bash管道接收的文本流。无论你是初学者还是有一定经验的开发者,本文都将给你带来一些启发和帮助。
问题内容
目前,我正在使用以下内容来格式化 npm 脚本中的数据。
npm run startwin | while ifs= read -r line; do printf '%bn' "$line"; done | less
登录后复制
它可以工作,但我的同事不使用 linux。所以,我想实现 while ifs= read -r line;执行 printf '%bn' "$line";在go中完成
,并在管道中使用二进制文件。
npm run startwin | magical-go-formater
登录后复制
我尝试过的
package main
import (
"fmt"
"io/ioutil"
"os"
"strings"
)
func main() {
fi, _ := os.Stdin.Stat() // get the FileInfo struct
if (fi.Mode() & os.ModeCharDevice) == 0 {
bytes, _ := ioutil.ReadAll(os.Stdin)
str := string(bytes)
arr := strings.Fields(str)
for _, v := range arr {
fmt.Println(v)
}
}
登录后复制
目前,程序会静默文本流的所有输出。
解决方法
您想使用 bufio.scanner 进行尾部类型读取。恕我直言,您在 os.stdin
上进行的检查是不必要的,但是 ymmv。
请参阅此答案了解示例。 ioutil.readall()
(现已弃用,只需使用 io.readall()
)读取错误/eof,但它不是循环输入 - 这就是您需要 bufio.scanner.scan()
的原因。 p>
此外 - %b
将转换文本中的任何转义序列 - 例如传递的行中的任何 n
都将呈现为换行符 - 您需要吗? b/c go 没有等效的格式说明符,afaik。
编辑
所以我认为,您基于 readall()
的方法将会/可能会起作用......最终。我猜您期望的行为与 bufio.scanner
类似 - 接收进程在写入字节时处理字节(这实际上是一个轮询操作 - 请参阅 scan()
的标准库源代码以查看肮脏的细节) .
但是 readall()
会缓冲读取的所有内容,并且直到最终出现错误或 eof 才会返回。我破解了 readall()
的检测版本(这是标准库源代码的精确副本,只有一点点额外的检测输出),您可以看到它在写入字节时正在读取,但它只是没有在写入过程完成之前不会返回并产生内容,此时它会关闭管道的末端(其打开的文件句柄),从而生成 eof:
package main
import (
"fmt"
"io"
"os"
"time"
)
func main() {
// os.stdin.setreaddeadline(time.now().add(2 * time.second))
b, err := readall(os.stdin)
if err != nil {
fmt.println("error: ", err.error())
}
str := string(b)
fmt.println(str)
}
func readall(r io.reader) ([]byte, error) {
b := make([]byte, 0, 512)
i := 0
for {
if len(b) == cap(b) {
// add more capacity (let append pick how much).
b = append(b, 0)[:len(b)]
}
n, err := r.read(b[len(b):cap(b)])
//fmt.fprintf(os.stderr, "read %d - received: n%sn", i, string(b[len(b):cap(b)]))
fmt.fprintf(os.stderr, "%s read %d - received %d bytesn", time.now(), i, n)
i++
b = b[:len(b)+n]
if err != nil {
if err == io.eof {
fmt.fprintln(os.stderr, "received eof")
err = nil
}
return b, err
}
}
}
登录后复制
我刚刚编写了一个廉价的脚本来生成输入,模拟一些长时间运行的东西并且仅定期编写,我想象 npm 在你的情况下的表现如何:
#!/bin/sh
for x in 1 2 3 4 5 6 7 8 9 10
do
cat ./main.go
sleep 10
done
登录后复制
顺便说一句,我发现阅读实际的标准库代码确实很有帮助......或者至少在这样的情况下很有趣。
以上就是如何读取和格式化通过 bash 管道接收的文本流?的详细内容,更多请关注每日运维网(www.mryunwei.com)其它相关文章!