客户管理系统开发定制CSDN热榜排名追踪工具上线，随时查看热榜链路数据

大家好，客户管理系统开发定制我是小小明。

客户管理系统开发定制今天大家期待已久的热客户管理系统开发定制榜追踪神器上线了，客户管理系统开发定制包含历史热榜搜索器和客户管理系统开发定制近两日热榜排名等。

客户管理系统开发定制客户管理系统开发定制历史热榜追踪数据搜索：

客户管理系统开发定制热榜涨粉榜top50：

客户管理系统开发定制热榜追踪程序演示

客户管理系统开发定制下面我们分别来看看这两个网页：

历史热榜追踪数据搜索

打开网页后界面如下：

该网页默认展示最近上榜的20条数据，我们可以通过搜索找到我们需要的数据。

例如我们想查看昵称中包含java的用户上榜情况，可以再昵称输入框输入java后回车：

可以看到上榜时间，小时数，以及在热榜期间的涨粉量都一目了然。我们可以通过表格组件对查询结果进行二次排序：

这就是按涨粉量排序后的结果。

当前目前我截图的数据热度链接比较长，我目前已经更新按照万为单位保留一位小数进行追加。

还可以搜索近20条标题包含python的上榜数据，多个条件也支持组合查询。

关于排名有一些搜索小技巧，这里的排名是根据排名链接进行搜索的，我们可以根据条件,1,搜索近期上过榜一的文章(不包含仅一上榜就到榜1的)：

注意：上榜时长为null表示该条数据当前还在热榜中。

我们还可以通过_搜索上过榜前9的数据：

最后根据日期我们可以搜索指定日期上榜的数据，例如搜索11月4号上过榜前9的数据：

热榜追踪热榜涨粉top50

在另一个页面http://120.78.229.124:8000/rankfollow/则显示今日热榜的涨粉top50：

继续往下划还可以看到昨日热榜涨粉top50：

然后可以看到历史热榜涨粉top50：

目前历史涨粉榜情况不佳是因为数据库重建后，采集程序昨天下午2点才重新启动。再过一星期，相信大家都能看到一个完全不一样的历史涨粉热榜。

最下面还有一个模块近10天上榜次数与涨粉量top50：

不过从昨天下午两点到现在还没有人能连续两次上榜，相信过两天后，我们能够看到上榜次数超过2次的用户出现。

热榜追踪程序的开发思路

采集程序开发

相信很多小伙伴更好奇该程序如何开发，那么下面我简单介绍一下该程序的开发思路与代码。

思路：有一个采集程序每小时执行一次，每次执行都获取当前热榜和历史热榜进行差异比较，划分为三类：

  • 同时存在当前热榜和历史热榜中，说明是正在热榜的数据
  • 不在当前热榜均在历史热榜中，说明是已下榜的数据
  • 在当前热榜不在历史热榜中，说明是新上榜的数据

对于这三类数据，有不同的处理策略：

  • 对正在热榜的数据追加更新排名链路和热度链路
  • 对已下榜的数据，根据链接逐条采集当前粉丝数，填入下榜粉丝数字段中；同时根据当前时间更新下榜时间。
  • 对于新上榜的数据，根据当前时间填入上榜时间，采集当前粉丝数填入上榜粉丝数字段中。

对于新上榜的每条数据，使用文章ID作为主键进行存储。

下面是以上思路的完整代码：

from sqlalchemy import create_engineimport pandas as pdfrom datetime import datetimefrom check_func import pares_urlfrom database import databasesuri = f'mysql+pymysql://{databases["USER"]}:{databases["PASSWORD"]}@{databases["HOST"]}:{databases["PORT"]}/{databases["NAME"]}'engine = create_engine(uri)# 更新当前热榜链条sql = """UPDATE hot_rank_circle a,(SELECT  distinct n.id,  CONCAT(h.`排名链路`,',',n.`排名`) 排名链路,  CONCAT(h.`热度链路`,',',ROUND(n.热度/10000,1)) 热度链路FROM hot_rank n JOIN hot_rank_circle h ON n.id=h.idWHERE SUBSTRING_INDEX(h.热度链路,',',-1)!=n.热度) b SET a.排名链路=b.排名链路,a.热度链路=b.热度链路 WHERE a.id=b.id;"""engine.execute(sql)# 更新下榜时的粉丝数sql = """SELECT id,链接 FROM hot_rank_circleWHERE id NOT IN (SELECT DISTINCT id FROM hot_rank)AND 下榜时间 IS NULL;"""id2url = pd.read_sql(sql, engine)if id2url.shape[0] != 0:    fan_nums = []    for url in id2url.链接.values:        data = pares_url(url)        # print(url, data)        fan_nums.append(data.get('粉丝'))    id2url['链接'] = fan_nums    id2url.to_sql(name="tmp", con=engine, if_exists="replace", index=False)    sql = "UPDATE hot_rank_circle, tmp SET hot_rank_circle.下榜粉丝数=tmp.链接 WHERE hot_rank_circle.id=tmp.id;"    engine.execute(sql)# 更新下榜时间sql = """UPDATE hot_rank_circle SET 下榜时间=NOW()WHERE id NOT IN (SELECT distinct id FROM hot_rank)AND 下榜时间 IS NULL;"""engine.execute(sql)# 增加新上榜数据sql = """SELECT distinct n.昵称, n.标题, n.链接, n.排名 排名链路, ROUND(n.热度/10000,1) 热度链路FROM hot_rank nLEFT JOIN hot_rank_circle hON n.id=h.`id`WHERE h.id IS NULL;"""hot_rank = pd.read_sql(sql, engine)idx = hot_rank.链接.apply(lambda s: s[s.rfind("/") + 1:]).astype("int")hot_rank.insert(0, "id", idx)# hot_rank.热度链路 = (hot_rank.热度链路 / 10000).round(1)# date = str(datetime.now())[5:13]hot_rank["上榜时间"] = datetime.now()hot_rank["下榜时间"] = Nonefan_nums = []for url in hot_rank.链接.values:    data = pares_url(url)    # print(url, data)    fan_nums.append(data.get('粉丝'))hot_rank['上榜粉丝数'] = fan_numshot_rank['下榜粉丝数'] = Nonehot_rank.to_sql(name="hot_rank_circle", con=engine, if_exists="append", index=False)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63

数据查询页开发

restful接口开发：

def rank_follow_search(request):    if request.method == "POST":        return HttpResponse("不支持的请求类型")    args = []    name = request.GET.get("name", "").replace("'", "").replace('"', "").replace(";", "")    if name:        args.append(f"昵称 LIKE '%%{name}%%'")    title = request.GET.get("title", "").replace("'", "").replace('"', "").replace(";", "")    if title:        args.append(f"标题 LIKE '%%{title}%%'")    rank = request.GET.get("rank", "").replace("'", "").replace('"', "").replace(";", "")    if rank:        args.append(f"排名链路 LIKE '%%{rank}%%'")    date = request.GET.get("date", "").replace("'", "").replace('"', "").replace(";", "")    if date:        args.append(f"上榜时间 LIKE '%%{date}%%'")    args = " AND ".join(args)    if not args:        args = "1=1"    # print(args)    sql = f"""SELECT 昵称,标题,链接,排名链路,热度链路,        SUBSTRING(上榜时间,6,8) 上榜时间,        (TO_DAYS(下榜时间)-TO_DAYS(上榜时间))*24+HOUR(下榜时间)-HOUR(上榜时间) 上榜时长,        上榜粉丝数,下榜粉丝数-上榜粉丝数 涨粉量 FROM hot_rank_circle    WHERE {args}    ORDER BY 上榜时间 DESC,上榜粉丝数 DESC LIMIT 20;"""    try:        df = pd.read_sql(sql, engine)        df.fillna("null", inplace=True)        return JsonResponse(df.to_dict(orient="records"), safe=False)    except Exception as e:        return JsonResponse({'status': -1, 'msg': str(e)})
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32

虽然本程序完全无所谓SQL注入，但是防SQL注入还是得养成习惯，这里我就简单粗暴的采用了去掉查询条件中引号和分号来达到防SQL注入的目的。当然这种方法也可能一些特殊的方案防不住，期待大佬们能够指出。

前端展示页开发：

<!DOCTYPE html><html lang="zh"><head>    <meta charset="UTF-8">    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">    <meta name="viewport" content="width=device-width, initial-scale=1.0">    <title>热榜追踪数据搜索</title>    <link href="/static/css/bootstrap.min.css" rel="stylesheet">    <link rel="stylesheet" type="text/css" href="/static/css/demo.css">    <link rel="stylesheet" href="/static/dist/excel-bootstrap-table-filter-style.css"/>    <script type="text/javascript" src="/static/js/jquery-1.11.0.min.js"></script>    <script src="/static/js/vue.min.js"></script>    <script type="text/javascript" src="/static/dist/excel-bootstrap-table-filter-bundle.js"></script></head><body><div class="container">    <div class="row">        <div class="col-md-12">            <h4>作者主页：<a href='https://xxmdmst.blog.csdn.net/' target="_blank">@小小明-代码实体</a></h4>            <h2>历史热榜追踪数据搜索</h2>            <h4>（最大只显示最近上榜的前20条数据，可以通过下面链接查看当前热榜）</h4>            <h4>数据来源：<a href="/hotrank/all/" target="_blank">全站综合热榜（含热榜标题词云）</a></h4>            <h4>今日热榜追踪：<a href="/rankfollow/" target="_blank">今日热榜追踪</a></h4>            <div id="in">                <p>昵称：<input id="name">标题：<input id="title"></p>                <p>排名：<input id="rank">时间：<input id="date"></p>            </div>            <p>                <button id="run">搜索</button>            </p>        </div>    </div>    <table id="table1" class="table table-bordered table-intel">        <thead>        <tr>            <th class="no-filter">昵称</th>            <th class="no-sort no-filter">标题</th>            <th class="no-sort no-filter">排名链路</th>            <th class="no-sort no-filter">热度链路</th>            <th class="no-filter">上榜时间</th>            <th class="no-filter">上榜时长</th>            <th class="no-filter">上榜粉丝数</th>            <th class="no-filter">涨粉量</th>        </tr>        </thead>        <tbody>        <tr v-for="row in rows">            <td>{{ row.昵称 }}</td>            <td><a href='{{ row.链接 }}' target="_blank">{{ row.标题 }}</a></td>            <td>{{ row.排名链路 }}</td>            <td>{{ row.热度链路 }}</td>            <td>{{ row.上榜时间 }}</td>            <td>{{ row.上榜时长 }}</td>            <td>{{ row.上榜粉丝数 }}</td>            <td>{{ row.涨粉量 }}</td>        </tr>        </tbody>    </table></div><script type="text/javascript">    $(function () {        $('#table1').excelTableFilter({            'captions': {a_to_z: '升序排列', z_to_a: '降序排列', search: '搜索', select_all: '全部选择'}        });    });    $(function () {        var vm = new Vue({            el: '#table1',            data: {                rows: []            }        });        window.vm = vm;        $.get("/api/rank_follow_search/", function (data) {            vm.rows = data;        });    });    let func = function () {        let name = $('#name').val();        let title = $('#title').val();        let rank = $('#rank').val();        let date = $('#date').val();        var url = `/api/rank_follow_search/?name=${name}&title=${title}&rank=${rank}&date=${date}`;        console.log(url)        $.get(url, function (data) {            vm.rows = data;        });    };    $("#in").keypress(function (even) {        if (even.which == 13) {            func()        }    });    $('#run').click(func);</script></body></html>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101

这里我使用了vue进行数据绑定，这样就可以大幅度简化代码，原本几十行JavaScript代码才是实现的动态数据修改变成了vm.rows = data;这一行。而且HTML部分的代码也变得和后端模板渲染的代码类似，非常方便。

排名页面开发

排名页面的写法比较简单粗暴，直接模板渲染。后端视图代码：

def rank_follow(request):    context = {}    context["date"] = str(date.today())    # 今日涨粉top50    sql = """SELECT 昵称,LEFT(标题,40) `标题(最大展示前40字)`,链接,排名链路,热度链路,    SUBSTRING(上榜时间,6,8) 上榜时间,    (TO_DAYS(下榜时间)-TO_DAYS(上榜时间))*24+HOUR(下榜时间)-HOUR(上榜时间) 上榜时长,    上榜粉丝数,下榜粉丝数-上榜粉丝数 涨粉量 FROM hot_rank_circle    WHERE TO_DAYS(上榜时间)=TO_DAYS(CURDATE()) AND 下榜时间 IS NOT NULL    ORDER BY 涨粉量 DESC    LIMIT 50;"""    df = pd.read_sql(sql, engine)    context["today"] = df.values.tolist()    # 昨日涨粉top50	...    # 历史涨粉榜top50	...    # 近7天上榜次数与涨粉量top50(过滤掉上榜时间低于2小时的数据)    sql = """SELECT 昵称,COUNT(标题) `上榜次数`,GROUP_CONCAT(SUBSTRING(上榜时间,6,8)) 上榜时间汇总,    GROUP_CONCAT((TO_DAYS(下榜时间)-TO_DAYS(上榜时间))*24+HOUR(下榜时间)-HOUR(上榜时间)) 上榜小时数汇总,    MAX(下榜粉丝数)-MIN(上榜粉丝数) 涨粉量     FROM hot_rank_circle    WHERE (TO_DAYS(下榜时间)-TO_DAYS(上榜时间))*24+HOUR(下榜时间)-HOUR(上榜时间)>2    AND TO_DAYS(上榜时间)>=TO_DAYS(DATE_SUB(CURDATE(), INTERVAL 9 DAY)) AND 下榜时间 IS NOT NULL    GROUP BY 昵称    HAVING COUNT(标题)>1    ORDER BY 上榜次数 DESC,涨粉量 DESC    LIMIT 50;"""    df = pd.read_sql(sql, engine)    context["recent"] = df.values.tolist()    return render(request, 'rank_follow.html', context)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

四个SQL获取了四个部分的数据，然后模块渲染代码大致都是如下格式：

<table id="table1" class="table table-bordered table-intel">    <thead>    <tr>        <th class="no-filter">昵称</th>        <th class="no-sort no-filter">标题(最大展示前40字)</th>        <th class="no-sort no-filter">排名链路</th>        <th class="no-sort no-filter">热度链路</th>        <th class="no-filter">上榜时间</th>        <th class="no-filter">上榜时长</th>        <th class="no-filter">上榜粉丝数</th>        <th class="no-filter">涨粉量</th>    </tr>    </thead>    <tbody>    {% for obj in today %}    <tr>        <td>{{ obj.0 }}</td>        <td><a href='{{ obj.2 }}' target="_blank">{{ obj.1 }}</a></td>        <td>{{ obj.3 }}</td>        <td>{{ obj.4 }}</td>        <td>{{ obj.5 }}</td>        <td>{{ obj.6 }}</td>        <td>{{ obj.7 }}</td>        <td>{{ obj.8 }}</td>    </tr>    {% endfor %}    </tbody></table>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

这就是上面程序的完整开发思路和代码。

网站建设定制开发 软件系统开发定制 定制软件开发 软件开发定制 定制app开发 app开发定制 app开发定制公司 电商商城定制开发 定制小程序开发 定制开发小程序 客户管理系统开发定制 定制网站 定制开发 crm开发定制 开发公司 小程序开发定制 定制软件 收款定制开发 企业网站定制开发 定制化开发 android系统定制开发 定制小程序开发费用 定制设计 专注app软件定制开发 软件开发定制定制 知名网站建设定制 软件定制开发供应商 应用系统定制开发 软件系统定制开发 企业管理系统定制开发 系统定制开发