首页 › 大雄说技术 › 《一起进腾讯系列》-如何统计网站UV

《一起进腾讯系列》-如何统计网站UV

🏷️ 大雄说技术 ✍️ 编辑部 📅 2023-04-24 10:49:35

统计网站UV方案设计

总结

要统计网站的UV（Unique Visitors），一种常用的方法是使用网站分析工具，例如Google Analytics或者百度统计等。

另外自己设计的话，一般采用Redis 的HyperLogLog、Bitmap进行统计

面试开始：

一个胖乎乎、穿着格纹衬衫的中年男子，手拿着一部划痕累累的笔记本电脑，朝着你走来。你看着他那快秃顶的头发，心中暗自猜测：他一定是资深架构师。但是，我们不虚！！！

小伙子你好，看你简历上说实现过 网站UV统计 ，那具体说说 ？

一种常用的方法是使用网站分析工具，例如Google Analytics或者百度统计等。这些工具可以追踪网站上每个页面的访问量和用户行为，同时还能够提供有关访问者的各种信息，例如地理位置、设备类型、浏览器类型等。

下面是一个可能的技术方案：

  1. 注册并配置网站分析工具：选择一款网站分析工具，并按照其文档说明完成注册和配置。通常需要在网站代码中添加一些跟踪代码，以便网站分析工具能够识别每个访问者。

  2. 统计UV：一旦网站分析工具配置完成，就可以开始统计UV了。访问工具提供的报告或者仪表板，查看有关网站的各种指标，例如总访问量、独立访客数量等。

  3. 数据分析：使用网站分析工具提供的数据分析功能，深入了解访问者的行为和偏好，以及网站上不同页面的受欢迎程度等。

  4. 优化网站：通过分析网站分析工具提供的数据，发现网站上的问题和优化点，例如页面加载速度慢、用户跳出率高等，然后对网站进行优化。

小伙子，有没其他的方式，不依赖第三方工具， 具体说说 ？

其实也可以用数据库直接实现：

  1. 创建一个访问记录表：在数据库中创建一个名为"access_log"的表，用于记录每个访问者的信息。该表至少需要包含以下字段：访问者IP地址、访问时间、用户代理、访问页面等。

  2. 编写代码来记录访问者信息：在网站的每个页面中添加一些代码，用于记录访问者的信息。例如，您可以在每个页面中添加一个JavaScript代码块，当页面加载时，该代码块会向服务器发送一个HTTP请求，该请求包含访问者的IP地址、用户代理等信息。

  3. 编写代码来统计UV：您可以编写一个sql脚本，该脚本会查询"access_log"表，并统计不同IP地址的数量，以确定网站的UV数量。

面试官面无表情，继续说道：如果有十几亿用户呢？还用这种方式统计？？？

你略微思考后，摇头说到：确实，如果用户量非常大，单表记录所有访问日志可能会导致数据库性能问题和存储问题，需要采用更好的方案。

分库分表也会导致统计的一个麻烦维度上升！！

但是，，，可以使用Redis。。。

Redis提供了多种数据结构来实现不同的功能，其中包括一些结构可以用来更方便地统计网站的UV，如下所示：

  1. HyperLogLog：是一种基数算法，可以用于估计一个集合中不同元素的数量，而不需要记录所有元素。因此，HyperLogLog结构可以用来统计网站的UV数量，而不需要记录所有IP地址。

  2. Sorted Set：是一种有序集合，可以将每个IP地址的访问次数作为分值，将IP地址作为成员，然后按照访问次数排序。因此，Sorted Set结构可以用来统计访问次数最多的IP地址，以及计算网站的PV和UV数量。

  3. Bitmap：是一种位图数据结构，可以用于表示一个二进制向量。例如，可以使用Bitmap来表示每个IP地址是否访问过网站。因此，Bitmap结构可以用来统计网站的UV数量，而不需要记录所有IP地址。

面试官说说：HyperLogLog如何实现统计？？？

HyperLogLog是一种基数算法，可以用于估计一个集合中不同元素的数量，而不需要记录所有元素。在Redis中，可以使用PFADD命令将元素添加到HyperLogLog中，使用PFCOUNT命令计算HyperLogLog中不同元素的数量。下面是一个简单的Java代码示例，演示如何使用Redis的HyperLogLog来统计网站的UV数量：

import redis.clients.jedis.Jedis;import redis.clients.jedis.Pipeline;import redis.clients.jedis.Response; public class UVCounter { private Jedis jedis; private String hyperLogLogKey; public UVCounter() { jedis = new Jedis("localhost"); hyperLogLogKey = "uv_hyperloglog"; } public void count(String ip) { // 使用PFADD命令将IP地址添加到HyperLogLog中 jedis.pfadd(hyperLogLogKey, ip); } public long getUV() { // 使用PFCOUNT命令获取HyperLogLog中不同元素的数量 return jedis.pfcount(hyperLogLogKey); } public static void main(String[] args) { // 初始化UVCounter对象 UVCounter counter = new UVCounter(); // 模拟100个IP地址访问网站 for (int i = 0; i < 100; i++) { String ip = "192.168.0." + i; counter.count(ip); } // 输出UV数量 System.out.println("UV: " + counter.getUV()); }}

Bitmap是一种位图数据结构，可以用于表示一个二进制向量。在Redis中，可以使用SETBIT命令将某个位置的二进制位设置为1或0，使用GETBIT命令获取某个位置的二进制位。下面是一个简单的Java代码示例，演示如何使用Redis的Bitmap来统计网站的UV数量：

import redis.clients.jedis.Jedis; import redis.clients.jedis.Pipeline;import redis.clients.jedis.Response; public class UVCounter {private Jedis jedis;private String bitmapKey; public UVCounter() {jedis = new Jedis("localhost");bitmapKey = "uv_bitmap";} public void count(String ip) {// 使用SETBIT命令将IP地址对应的位设置为1long offset = getOffset(ip);jedis.setbit(bitmapKey, offset, true);} public long getUV() {// 使用BITCOUNT命令统计位图中所有为1的二进制位的数量return jedis.bitcount(bitmapKey);} private long getOffset(String ip) {// 将IP地址转换为整数，并将其作为位图中的偏移量String[] parts = ip.split("\\.");long offset = 0;for (int i = 0; i < parts.length; i++) {int value = Integer.parseInt(parts[i]);offset = offset * 256 + value;}return offset;} public static void main(String[] args) {// 初始化UV UVCounter counter = new UVCounter(); // 模拟100个IP地址访问网站 for (int i = 0; i < 100; i++) { String ip = "192.168.0." + i; counter.count(ip); } // 输出UV数量 System.out.println("UV: " + counter.getUV());}}

面试官说说：HyperLogLog原理？？？

HyperLogLog原理：

HyperLogLog是一种基数算法，用于估算一个集合中不同元素的数量，而不需要记录所有元素。HyperLogLog通过使用随机哈希函数将元素映射到一个位图中的随机位置，然后根据位图中1的数量来估算集合的基数。由于HyperLogLog使用的哈希函数是随机的，因此它的估算结果有一定的误差，但是随着集合大小的增加，误差会逐渐变小。

HyperLogLog的优点在于它可以在常数时间内插入新元素，以及在常数时间内计算估算值，因此它非常适合于处理大型数据集的基数估算问题。

这时你顺带说下，Bitmap原理：

Bitmap是一种基于位图的数据结构，用于表示一个二进制向量。在Redis中，Bitmap通常用于记录某些事件是否发生过，例如记录用户是否登录过、某个IP地址是否访问过网站等等。Bitmap中的每个二进制位都可以表示一种状态，通常是0或1。

Bitmap的优点在于它可以在非常小的内存空间内存储大量的数据，并且可以使用Redis提供的位运算命令来对位图进行操作，例如AND、OR、NOT等。但是，Bitmap也有一些缺点，例如当位图中的1的数量很大时，BITCOUNT命令可能会变得非常慢，因为它需要遍历整个位图。

面试官最后说道：我没问题了， 你有什么想问的吗？

你巴巴说。。。。。

面试结束：

小伙可以啊，什么时候来上班啊，要不明天就来吧？

你强装镇定，这么急啊我还需要租房，要不下礼拜一吧。

最后说一句

好了，看到了这里了， 转发、在看、点赞 随便安排一个吧，要是你都安排上我也不介意。写文章很累的，需要一点正反馈。

给各位读者朋友们磕一个了：

《一起进腾讯系列》-如何统计网站UV