go语言实现通过FTP库自动上传web日志
更新时间:2020年5月7日 08:46 点击:2079
因为平时管理的web服务器都是VM服务器,为节省硬盘空间,一般给虚拟机分配的硬盘空间都比较小,只有8G,因为,保存不了多少日志,所以每天都需要把每台WEB日志转移到一个硬盘比较大的服务器上,然后再使用NBU集中备份,本程序主要使用go语言实现实现将web日志通过FTP自动上传FTP服务器,使用了filepath.Walk遍历日志目录及第三方纯go库“github.com/jlaffaye/ftp”,而日志VM本地存储路径格式是 /var/log/weblog/www.domainName.com/month/20140616.access.log,
// uploadlog /* 1.本程序主要是实现linux下上传web日志使用, 2.使用方法是 uploadlog logfile_dir 程序只上传当前时间点的日志文件, */ package main import ( "fmt" ftp "github.com/jlaffaye/ftp" "log" "net" "os" "path/filepath" "strconv" "strings" "time" ) func main() { fmt.Println("Hello World!") if len(os.Args) != 2 { log.Fatal("Usage:" + filepath.Base(os.Args[0]) + " log_dir ") os.Exit(1) } //logFileName是将要分析的日志 logFileName, _, _ := getLogFileName() serverIp := getLocalIpAddr() //serverName, _ := os.Hostname() time.Sleep(time.Duration(90) * time.Second) dir := os.Args[1] filepath.Walk(dir, func(path string, f os.FileInfo, err error) error { if f == nil { return err } if f.IsDir() { return nil } if f.Name() == logFileName { fmt.Println(path) //pathFields的作用是将日志path解析成一个数据,从而可以得到日志的域名,注意,如果是linux系统,要用“/” pathFields := strings.Split(path, "\") var domainName string if len(pathFields) > 3 { domainName = pathFields[len(pathFields)-3] } fmt.Println(time.Now()) ftpUploadFile("ftp-server-ip:21", "logftpuser", "ftp-password", path, domainName, serverIp+"_"+logFileName) fmt.Println(time.Now()) } return nil }) } func getLogFileName() (string, string, string) { MonthTOstr := map[string]string{"January": "01", "February": "02", "March": "03", "April": "04", "May": "05", "June": "06", "July": "07", "August": "08", "September": "09", "October": "10", "November": "11", "December": "12"} timenow := time.Now() year, month, day := timenow.Date() //monthStr := month.String() hour, _, _ := timenow.Clock() yearStr := strings.TrimLeft(strconv.Itoa(year), "20") //去掉前面的四位数年份如"2014"年的“20” dayStr, hourStr := strconv.Itoa(day), strconv.Itoa(hour) if day < 10 { dayStr = "0" + dayStr } if hour < 10 { hourStr = "0" + hourStr } fileName := "ex" + yearStr + MonthTOstr[month.String()] + dayStr + hourStr + ".log" logDay := yearStr + MonthTOstr[month.String()] + dayStr logMonth := yearStr + MonthTOstr[month.String()] //monthSrt := strconv.Itoa(timenow.Month()) //fmt.Println(fileName, logDay) return fileName, logDay, logMonth //fmt.Println(fileName) } func getLocalIpAddr() string { //这里使用一个合法的IP就行了,端口随便,即使没有打开也行,也许因为使用UDP,如果用TCP的话,对端不打开就会有问题 conn, err := net.Dial("udp", "192.168.8.51:80") if err != nil { //fmt.Println(err.Error()) return "127.0.0.1" } defer conn.Close() //fmt.Println(conn.LocalAddr().String()) //conn. //fmt.Println(strings.Split(conn.LocalAddr().String(), ":")[0]) return strings.Split(conn.LocalAddr().String(), ":")[0] } func ftpUploadFile(ftpserver, ftpuser, pw, localFile, remoteSavePath, saveName string) { ftp, err := ftp.Connect(ftpserver) if err != nil { fmt.Println(err) } err = ftp.Login(ftpuser, pw) if err != nil { fmt.Println(err) } //注意是 pub/log,不能带“/”开头 ftp.ChangeDir("pub/log") dir, err := ftp.CurrentDir() fmt.Println(dir) ftp.MakeDir(remoteSavePath) ftp.ChangeDir(remoteSavePath) dir, _ = ftp.CurrentDir() fmt.Println(dir) file, err := os.Open(localFile) if err != nil { fmt.Println(err) } defer file.Close() err = ftp.Stor(saveName, file) if err != nil { fmt.Println(err) } ftp.Logout() ftp.Quit() fmt.Println("success upload file:", localFile) }
以上所述就是本文的全部内容了,希望大家能够喜欢。
上一篇: Go语言常见哈希函数的使用
下一篇: golang使用正则表达式解析网页
相关文章
- 这篇文章主要介绍了Go语言压缩和解压缩tar.gz文件的方法,实例分析了使用Go语言压缩文件与解压文件的技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要介绍了go语言使用RC4加密的方法,实例分析了RC4加密的技巧与实现方法,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-07
- 这篇文章主要为大家详细介绍了C#开发教程之FTP上传下载功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 这篇文章主要介绍了Go语言图片处理和生成缩略图的方法,涉及Go语言针对图片操作的技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要介绍了创建第一个Go语言程序Hello,Go!本文详细的给出项目创建、代码编写的过程,同时讲解了GOPATH、Go install等内容,需要的朋友可以参考下...2020-05-01
- 这篇文章主要介绍了C#开发教程之ftp操作方法整理的相关资料,需要的朋友可以参考下...2020-06-25
- 下面小编就为大家分享一篇c# FTP上传文件的实例代码,超简单哦~希望对大家有所帮助。一起跟随小编过来看看吧,...2020-06-25
- 这篇文章主要介绍了QT5编译使用QFtp的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-04
- 这篇文章主要介绍了Go语言创建、初始化数组的常见方式,实例汇总了Go语言操作数组的常见技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-01
- 这篇文章主要介绍了go语言实现文件分割的方法,实例分析了Go语言操作文件的技巧,需要的朋友可以参考下...2020-05-05
- 这篇文章主要介绍了go语言简单的处理http请求的函数,实例分析了Go语言处理http请求的技巧,需要的朋友可以参考下...2020-05-07
- 这篇文章主要介绍了Go语言通过http抓取网页的方法,实例分析了Go语言通过http操作页面的技巧,需要的朋友可以参考下...2020-05-05
- 如果要允许用户在站点中上载或下载文件,就需要在 Web 服务器上设置 FTP。无论站点是位于 Intranet 还是位于 Internet 上,使用 FTP 在所提供的位置中上载和下载文件的原理是相同的。...2016-01-27
- 这篇文章主要介绍了Go语言实现socket的方法,实例分析了socket客户端与服务器端的实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要介绍了Go语言里的new函数用法,实例分析了new函数的功能及使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要介绍了Go语言实现简单留言板的方法,涉及数据库、模板页面元素等留言板相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要为大家介绍了Go语言的网络编程,其中包含了Socket编程,Http编程以及RPC编程,本篇文章是Go语言七篇入门系列文章,有需要的朋友可以借鉴下...2021-11-10
- 这篇文章主要为大家详细介绍了C#开发windows服务实现自动从FTP服务器下载文件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 这篇文章主要介绍了Go语言扫描目录并获取相关信息的方法,实例分析了Go语言操作目录及文件的技巧,需要的朋友可以参考下...2020-05-05
- 这篇文章主要介绍了Go语言操作mysql数据库简单例子,本文包含插入数据和查询代码实例,需要的朋友可以参考下...2020-05-01