首页 > 系统 > 关键词  > awstatsNginx访问日志使用awstat最新资讯  > 正文

使用awstats分析Nginx的访问日志

2008-12-22 16:56 · 稿源:Linux服务器

前言

在我的上一篇文章《linux.chinaitlab.com/server/768231.html" target=_blank>使用 Nginx 提升网站访问速度》中介绍了 Nginx 这个 HTTP 服务器以及如何通过它来加速网站的访问速度。在实际的网站运营中,我们经常需要了解到网站的访问情况,例如每天有多少 IP 在访问、PV 数是多少、哪个 URL 访问量最大、用户使用最多的浏览器是哪个、都是通过什么方式知道这个网站的以及有多少用户访问出错等等,通过掌握这些信息来提高用户的体验,从而改善网站的质量。一般我们可以通过一些免费的访问统计网站例如 Google Analytics 来或者这些信息。但不足之处是这类网站只能对页面进行分析,不包括静态文件;另外可能有很多的站长不愿意使用这类工具来暴露自己的数据,种种的这些因素使站长希望自己来分析访问日志。而 awstats 就可以满足所有的这些需求。

Awstats 是在 SourceForge 上发展很快的一个基于 Perl 的 WEB 日志分析工具,一个充分的日志分析让 Awstats 显示您下列资料:

●访问次数、独特访客人数,

●访问时间和上次访问,

●使用者认证、最近认证的访问,

●每周的高峰时间(页数,点击率,每小时和一周的千字节),

●域名/国家的主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测),

●主机名单,最近访问和未解析的 IP 地址名单

●大多数看过的进出页面,

●档案类型,

●网站压缩统计表(mod_gzip 或者 mod_deflate),

●使用的操作系统 (每个操作系统的页数,点击率 ,字节, 35 OS detected),

●使用的浏览器,

●机器人访问(检测 319 个机器人),

●蠕虫攻击 (5 个蠕虫家族),

●搜索引擎,利用关键词检索找到你的地址,

●HTTP 协议错误(最近查阅没有找到的页面),

●其他基于 URL 的个性报导,链接参数, 涉及综合行销领域目的.

●贵网站被加入"最喜爱的书签".次数.

●屏幕大小(需要在索引页补充一些 HTML 标签).

●浏览器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader.

●负载平衡服务器比率集群报告.

Awstats 的运行是需要 PERL 环境的支持,从 awstats 的文档来看,它对 Apache HTTP Server 的支持是非常完美的,而当我们把 Web 服务器换成 Nginx 后,要运行 awstats 变得很麻烦。首先 Nginx 本身对 Perl 的支持是比较弱的,甚至官方也不建议使用;另外在日志格式上有需要修改后才能运行。

本文主要介绍通过让 awstats 对日志统计的结果生成静态页面,然后通过 Nginx 输出以达到统计 Nginx 访问日志的效果,其中还包括如何让 Nginx 自动切割日志文件。

配置 Nginx 自动切割日志

跟 Apache HTTP Server(以下称 Apache)不同的是,Apache 可以将日志输出通过管道的方式进行重新定向,依此来进行自动的日志切割。Nginx 在现今版本上还没能跟 Apache 一样,通过%YY等参数按日期分批创建日志,但是通过给 nginx 进程发送一个特定的信号,可以使 nginx 重新生成日志文件。我们可以定期执行一个 Shell 脚本来切换日志,重新命名或转移,具体的脚本如下:

# mv /opt/nginx/logs/access.log /opt/nginx/logs/access_`date +%Y%m%d`.log

# killall –s USR1 nginx #使用USR1参数通知Nginx进程切换日志文件

将以上脚本内容保存为文件名为 logcron.sh 存到自定的目录中,例如 /opt/nginx/sbin/logcron.sh

使用 Crontab 让该脚本程序在每天晚上 11 点 59 分自动执行,即可做到按天创建日志。

#p#分页标题#e#

安装和配置 Awstats

安装之前,必须确认你的服务器上 Perl 的环境已经就绪。

查看当前环境 Perl 版本的命令是 perl –version

我们还需要对 Nginx 的日志格式做个小修改,不然 awstats 将无法进行统计。

例子如下(加粗部分):

# vi /opt/nginx/conf/nginx.confserver {listen 80;server_name localhost;location ~ ^/web/ {root /data/web;index index.html;error_log off;charset gb2312;}log_format new_log #格式代称 (注意,如果有多个虚拟主机,代称不能一样)'$remote_addr - $remote_user [$time_local] $request ' '"$status" $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log logs/access.log new_log; #日志生成路径}

下载最新版本的 awstats 包,下载地址请见文章最后的参考资料。把下载后的 tar 包解压到任意目录中,例: /usr/local/awstats 。然后执行 tools 目录中的 awstats_configure.pl 配置向导,创建一个新的统计。

-----> Check for web server installEnter full config file path of your Web server.Example: /etc/httpd/httpd.confExample: /usr/local/apache2/conf/httpd.confExample: c:\Program files\apache group\apache\conf\httpd.confConfig file path ('none' to skip web server setup):#> none #因为我们这里用的是 Nginx,所以写 none,跳过。

回车

Your web server config file(s) could not be found.You will need to setup your web server manually to declare AWStatsscript as a CGI, if you want to build reports dynamically.See AWStats setup documentation (file docs/index.html)-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf' File awstats.model.conf updated.-----> Need to create a new config file ?Do you want me to build a new AWStats config/profilefile (required if first install) [y/N] ?#> y #y 创建一个新的统计配置

回车

-----> Define config file name to create

What is the name of your web site or profile analysis ?

Example: www.mysite.com

Example: demo

Your web site, virtual server or profile name:

#> www.moabc.net #统计网站的域名 例:

www.moabc.net

回车

-----> Define config file path

In which directory do you plan to store your config file(s) ?

Default: /etc/awstats

Directory path to store config file(s) (Enter for default):

#>

使用默认直接回车,接下来便会出现以下的提示

----> Add update process inside a scheduler

Sorry, configure.pl does not support automatic add to cron yet.

You can do it manually by adding the following command to your cron:

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.moabc.net

#回头把该命令填入crontab 按指定时间执行

Or if you have several config files and prefer having only one command:

/usr/local/awstats/tools/awstats_updateall.pl now

Press ENTER to continue... 回车继续

A SIMPLE config file has been created: /etc/awstats/awstats.www.moabc.net.conf

#新配置文件所在的路径

You should have a look inside to check and change manually main parameters.

You can then manually update your statistics for 'www.moabc.net' with command:

> perl awstats.pl -update -config=www.moabc.net

You can also build static report pages for 'www.moabc.net' with command:

> perl awstats.pl -output=pagetype -config=www.moabc.net

Press ENTER to finish...

回车完成向导,接下来修改 www.moabc.net 的统计配置

#vi /etc/awstats/awstats.www.moabc.net.conf

找到统计的日志文件的路径

LogFile="/var/log/httpd/mylog.log"

改为

LogFile="/opt/nginx/logs/access_%YYYY-0%MM-0%DD-0.log

对应上边 Nginx 日志切割程序的所生成的目录存放结构,要注意 Awstats 的年月日格式的跟 Nginx 的写法有所不同。我们现在执行统计的顺序是:

Nginx 产生日志 –> 日志切割 –> Nginx 继续产生日志 –> 另存切割日志 –> 交由Awstats统计 –> 生成结果

#p#分页标题#e#

在本文中 Awstats 所统计的日志,是已切下来的那部分。也能调转顺序,先统计完了再切。不过这比较容易造成统计的遗漏。配置修改完成后,保存退出。然后我们可以开始试一下手动执行。

1.先执行日志切割脚本 logcron.sh 把 Nginx 的日志切下来。

2.然后执行 Awstats 日志更新程序开始统计分析。

# /opt/nginx/sbin/logcron.sh

# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.moabc.net

Create/Update database for config "/etc/awstats/awstats.www.moabc.net.conf"

by AWStats version 6.7 (build 1.892)

From data in log file "/opt/nginx/logs/access_20080804.log"...

Phase 1 : First bypass old records, searching new record...

Direct access after last parsed record (after line 450421)

Jumped lines in file: 450421

Found 450421 already parsed records.

Parsed lines in file: 120

Found 0 dropped records,

Found 0 corrupted records,

Found 0 old records,

Found 120 new qualified records.

看到以上显示,证明日志切割和 Awstats 都已经运行无误了。统计分析完成后,结果还在 Awstats 的数据库中。在 Apache 上,可以直接打开 Perl 程序的网页查看统计。但本文开始时已经提到,Nginx 对 Perl 支持并不好,所以我们要换个方法,利用 awstats 的工具将统计的结果生成静态文件,具体的步骤如下:

●首先在 webroot 目录下创建一个文件夹。例:/data/webroot/awstats

●然后让 Awstats 把静态页面生成到该目录中

# mkdir /data/webroot/awstats

# /usr/local/awstats/tools/awstats_buildstaticpages.pl -update \

-config=www.moabc.net -lang=cn -dir=/data/admin_web/awstats \

-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

上述命令的具体意思如下:

●/usr/local/awstats/tools/awstats_buildstaticpages.pl Awstats 静态页面生成工具

●-update -config=www.moabc.net 更新配置项

●-lang=cn 语言为中文

●-dir=/data/admin_web/awstats 统计结果输出目录

●-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl Awstats 日志更新程序路径。

接下来,只需在nginx.conf 中,把该目录配置上去即可。例子如下:(加粗部分):

server {

listen 80;

server_name localhost;

location ~ ^/web/ {

root /data/web;

index index.html;

error_log off;

charset gb2312;

}

location ~ ^/awstats/ { # html 静态页面目录

root /data/webroot/awstats;

index index.html;

access_log off;

error_log off;

charset gb2312; #最好把默认编码改成 gb2312避免浏览器因自动编码出现乱码的情况

}

location ~ ^/icon/ { # 图标目录

root /usr/local/awstats/wwwroot;

index index.html;

access_log off;

error_log off;

charset gb2312;

}

}

用浏览器查看到统计的详细结果 https://youhostname/awstats/awstats.www.moabc.net.html

至此,使用 awstats 已能完全支持 Nginx 的日志统计。

#p#分页标题#e#

配置 Awstats 自动运行

为了让整个日志的统计过程自动完成,我们需要设置 crontab 计划任务,让 Nginx 日志切割以及 Awstats 自动运行,定时生成结果页面。

#vi /etc/crontab

11 59 * * * /opt/nginx/sbin/logcron.sh #半夜11:59 进行日志切割

00 1 * * * /usr/local/awstats/tools/awstats_buildstaticpages.pl \

-update -config=www.moabc.net -lang=cn -dir=/data/admin_web/awstats \

-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

#凌晨00:01 Awstats进行日志分析

:wq保存退出

#crontab /etc/crontab 指定cron所执行的配置档路径

保护日志统计结果页面

一般站长都不愿随便让人知道自己站的真实流量,所以要把 Awstats 统计结果页面进行密码保护。Nginx 使用的是跟 Apache 一样的密码加密格式,这里需要用到 apache 自带的工具 htpasswd。

如果你在本机上默认装有 Apache,这你就只需在它的程序目录下运行

例:

#/usr/local/apache2/bin/htpasswd -c admin.pass admin #用户名为adminNew password: 输入密码Re-type new password: 重复输入Adding password for user admin 创建成功然后把 admin.pass 这个密码包找个的地方藏起来.修改 nginx.conf 在 location 中加入(加粗部分):server { listen 80; server_name localhost; location ~ ^/web/ { root /data/web; index index.html; error_log off; charset gb2312; } location ~ ^/awstats/ { # html 静态页面目录 root /data/admin_web; index index.html; access_log off; error_log off; charset gb2312; auth_basic "admin"; #用户名 /opt/ngx/conf/admin.pass; #密码包路径 } location ~ ^/icon/ { # 图标目录 root /usr/local/awstats/wwwroot; index index.html; access_log off; error_log off; charset gb2312; }}修改 Nginx 配置完毕后,执行命令 killall –s HUP nginx 让 Nginx 重新加载配置即可。

总结

尽管跟 Apache HTTP Server 相比较而言,Nginx 的功能是比较弱的,但是我们依然可以利用一些技巧来规避这些弱点,Nginx 的设计者肯定也是充分考虑到这个问题。现在也越来越多的第三方开发的模块在逐渐的扩展 Nginx 的功能。但是从应用本身的角度而言,Nginx 更倾向于卓越的性能,而非大而全的功能,因而在一些附加方面的功能,我们也不能对之要求过高。

  • 相关推荐
  • 大家在看
  • “学生党”免费内网穿透,3步外网访问本地tomcat服务器

    学习网站开发的同学,一般都安装过IIS或者Apache Tomcat等Web服务器,如果是用自己电脑搭建的本地服务器,部署的Web应用只能在校园网或家庭网内访问。如果需要远程调试或者在外网使用,没有公网IP该怎么办呢?一款简单易用、安全稳定的内网穿透软件——花生壳,简单 3 步即可满足在任何时间、任何地点、任何线路,通过花生壳固定的域名访问到内网主机的服务和应用。尤其对学生党来说,花生壳免费开放 “青春版”服务,可以通过学生

  • OpenAI将向更多开发者开放GPT-3自然语言处理模型的访问

    OpenAI 在周四上午的公告中表示,GPT-3 已经变得更加开放。随着这家人工智能研究机构取消访问其自然语言处理(NLP)应用程序接口(API)的等候名单,此举意味着 OpenAI 已对该程序感到足够安全和自信,后续将有助于推动业内领先的读写 AI 模型的访问。Axios 指出,来自受支持地图的开发者们,将很快能够注册访问 OpenAI 的 GPT-3 API 并立即开展体验。此前,开发者需要先坐在等候名单上、静待官方审核通过,然后才能获得实验性质的

  • 苹果上线数字遗产功能 遗产联系人凭借访问密钥和死亡证明可访问手机

    11月10日上午,苹果公司向开发人员推出了iOS/iPadOS15.2系统的第二个测试版,增加了数字遗产、反跟踪、儿童保护等多个新功能。

  • 三星和Internet Matters启动新项目 以促进积极的在线文化

    据Neowin报道,三星电子宣布与 Internet Matters 合作庆祝反欺凌周( Anti-Bullying Week )。反欺凌周将从今年 11 月 15 日开始,到 11 月 19 日结束,以“One Kind Word”为主题。在internetmatters.org 上,三星微型网站为监护人和父母提供了广泛的资源,了解儿童如何在联网设备的帮助下保持在线安全。它还具有The Online Together Project功能,该项目充当为各种年龄组设计的互动工具,年龄组从 11 岁以下到 14 岁以上。最新的

  • Twitter为其Birdwatch计划贡献者引入别名机制

    Twitter于当地时间周一在一篇博文中宣布,该公司正在为其Birdwatch计划的参与者引入别名,这样他们就不必在给别人的推文留下的注释中包含自己的用户名。该社交媒体平台在1月份推出了Birdwatch的试点功能以作为对可能包含误导性或不准确信息的推文进行众包事实核查的一种方式。但这家公司表示,在Birdwatch试点项目中,投稿人绝大多数都表示倾向于用化名投稿,并且这种偏好在女性和黑人撰稿人中最为强烈。Twitter表示,它的研究表明

  • Google Arts & Culture新增Pet Portraits功能:宠物照可匹配艺术品

    Google ArtsCulture 在 2018 年曾短暂推出过一项相机功能,可以将你自拍和著名的肖像画进行比较而一时走红。现在该应用程序现在为宠物提供了同样的功能。在 Android 端升级到 9.0.27 版本之后,点击底栏中间的相机按钮就能进入“Pet Portraits”。给你的宠物拍照,Google 会将其与“来自世界各地博物馆的艺术品”进行比较。在官方介绍中写道:“在艺术作品中畅游,发现哪些作品最像你的宠物。这项新的实验性功能使用计算机视觉技术

  • 近十年后,Instagram帖子可在Twitter打开

    今天Instagram自豪地宣布,你现在可以在Twitter上看到Instagram帖子的预览。一旦您在任何tweet中输入Instagram链接,这些内容将自动转换为卡片格式。

  • Google Pixel 6可早期访问心率和呼吸跟踪

    谷歌最近在Pixel 6和Pixel 6 Pro上推出了自适应声音功能,而香草模式现在又增加了一些功能,因为它通过谷歌3月份宣布的Google Fit获得了心率和呼吸跟踪支持通过这些功能,您可以使用智能手机的摄像头和闪光灯测量心跳并跟踪呼吸频率。在测量心率时,需要使用后者来增强照明,以查看手指颜色的变化,但事实证明,对于像素6对来说,这可能不太方便,因为二人的相机和闪光灯相距很远像素6?像素6 Pro这就是说,在像素6上使用手电筒的功

  • notability致歉

    不久前,因计划对老用户强行征收订阅费,ios笔记应用notability遭到网友吐槽。就在遭到用户抗议后,今日,notability发布致歉声明称,将纠正上述做法。在2021年11月1日版本更新之前购买Notability的每一位用户都将终身访问所有现有功能,以及之前在应用中购买的任何内容。

  • Twitter验证了挪威政府的一个假账号,但并非平台错误

    Twitter验证了挪威新任财政部长的一个假账号,但显然,这不是Twitter的错。正如挪威科技网站NRKbeta率先报道的那样,首相办公室和挪威安全局(NSM)错误地传递了一个假账号进行验证。据悉,挪威财政部长Trygve Slagsvold Vedum从来没拥有一个Twitter账号。报道称,自今年9月他当选上任以来,出现了几个冒充Vedum的假账号以至于财政部上个月发出了一条推文以警告称财政部长实际上没有账号。翻译后的推文写道:“我们想告知,财政部长T

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天