SpringBoot（8）

尝试4-7-8呼吸法，吸气4秒，屏息7秒，呼气8秒。 #生活技巧# #压力管理技巧# #深度呼吸练习#

     一般设计网站的时候，会有问题发布或者是内容发布的功能，这些功能的有一个很重要的点在于如何实现敏感词过滤，要不然可能会有不良信息的发布，或者发布的内容中有夹杂可能会有恶意功能的代码片段，敏感词过滤的基本的算法是前缀树算法，前缀树也就是字典树，通过前缀树匹配可以加快敏感词匹配的速度。  

    首先是过滤HTML代码，在Spring中有直接的函数可以使用：

question.setContent(HtmlUtils.htmlEscape(question.getContent()));

    实现的功能就是将html的代码进行转义后显示出来，使其失效。

    举一个具体的例子：如果有一串字符串为xwabfabcff,敏感词为abc、bf、bc，若这个字符串中包含敏感词，则使用***代替敏感词，实现一个算法。

1.使用三个指针，指针1指向根节点，指针2指向字符串下标起始值，指针3指向字符串当前下标值。指针1为tempnode=rootnode，指针2为begin=0，指针3为position=0，创建stringbuffer sb来保存结果；

2.遍历x，tempnode未找到子节点x，将x报存到sb中，begin=begin+1;position=begin，tempnode=rootnode;

3.遍历w，tempnode未找到子节点w，将w报存到sb中，begin=begin+1;position=begin，tempnode=rootnode;

同上

4.遍历a，tempnode找到子节点a，tempnode指向a节点，则position++；

5.遍历b，tempnode发现a节点下有b这个子节点，所以，tempnode指向b节点，则position++；

6.遍历f，tempnode发现b节点下没有f这个子节点，所以，代表以begin开头的字符串，不会有敏感字符，因此，将a存入sb中。position=begin+1;bigin=position;tempnode=rootnode

7.遍历b,tempnode找到子节点b，tempnode指向b节点，则position++；

8.遍历f，tempnode发现b节点下有f这个子节点，而且f值敏感词结尾标记，所以，打码。将**写入sb中，同时，begin=position+1;position=begin;tempnode=rootnode;

9.遍历a，tempnode找到子节点a，tempnode指向a节点，则position++；

10.遍历b，tempnode发现a节点下有b这个子节点，所以，tempnode指向b节点，则position++；

11.遍历c，tempnode发现b节点下有c这个子节点，而且c值敏感词结尾标记，所以，打码。将***写入sb中，同时，begin=position+1;position=begin;tempnode=rootnode;

12.遍历f，tempnode发现根节点下没有f这个节点，因此，将f存入sb中。position=begin+1;bigin=position;tempnode=rootnode；

13.遍历f，tempnode发现根节点下没有f这个节点，因此，将f存入sb中。position=begin+1;bigin=position;tempnode=rootnode；

因此，最后sb中为：xwa******ff;

这里每次是将position指向的字符挨个的与tempnode的子节点进行比较，因此，代码中的while条件应该是

while (position < text.length()){}

同时，需要思考：
如果字符串为xwabfabcfb，则最后，begin指向b下标，position指向b下标，tempnode发现根节点下有b节点，因此position++;然后就退出循环了。而此时，sb中还只保存了xwa******f,
所以，我们在循环的最后，还要将最后一串字符串加进来。

result.append(text.substring(begin));

完整的代码实现

package com.springboot.springboot.service;

import org.apache.commons.lang3.CharUtils;

import org.apache.commons.lang3.StringUtils;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

import org.springframework.beans.factory.InitializingBean;

import org.springframework.stereotype.Service;

import java.io.BufferedReader;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.util.HashMap;

import java.util.Map;

@Service

public class SensitiveService implements InitializingBean {

private static final Logger logger = LoggerFactory.getLogger(SensitiveService.class);

private static final String DEFAULT_REPLACEMENT = "敏感词";

private class TrieNode {

private boolean end = false;

private Map<Character, TrieNode> subNodes = new HashMap<>();

void addSubNode(Character key, TrieNode node) {

subNodes.put(key, node);

}

TrieNode getSubNode(Character key) {

return subNodes.get(key);

}

boolean isKeywordEnd() {

return end;

}

void setKeywordEnd(boolean end) {

this.end = end;

}

public int getSubNodeCount() {

return subNodes.size();

}

}

private TrieNode rootNode = new TrieNode();

private boolean isSymbol(char c) {

int ic = (int) c;

return !CharUtils.isAsciiAlphanumeric(c) && (ic < 0x2E80 || ic > 0x9FFF);

}

public String filter(String text) {

if (StringUtils.isBlank(text)) {

return text;

}

String replacement = DEFAULT_REPLACEMENT;

StringBuilder result = new StringBuilder();

TrieNode tempNode = rootNode;

int begin = 0;

int position = 0;

while (position < text.length()) {

char c = text.charAt(position);

if (isSymbol(c)) {

if (tempNode == rootNode) {

result.append(c);

++begin;

}

++position;

continue;

}

tempNode = tempNode.getSubNode(c);

if (tempNode == null) {

result.append(text.charAt(begin));

position = begin + 1;

begin = position;

tempNode = rootNode;

} else if (tempNode.isKeywordEnd()) {

result.append(replacement);

position = position + 1;

begin = position;

tempNode = rootNode;

} else {

++position;

}

}

result.append(text.substring(begin));

return result.toString();

}

private void addWord(String lineTxt) {

TrieNode tempNode = rootNode;

for (int i = 0; i < lineTxt.length(); ++i) {

Character c = lineTxt.charAt(i);

if (isSymbol(c)) {

continue;

}

TrieNode node = tempNode.getSubNode(c);

if (node == null) {

node = new TrieNode();

tempNode.addSubNode(c, node);

}

tempNode = node;

if (i == lineTxt.length() - 1) {

tempNode.setKeywordEnd(true);

}

}

}

@Override

public void afterPropertiesSet() throws Exception {

rootNode = new TrieNode();

try {

InputStream is = Thread.currentThread().getContextClassLoader()

.getResourceAsStream("SensitiveWords.txt");

InputStreamReader read = new InputStreamReader(is);

BufferedReader bufferedReader = new BufferedReader(read);

String lineTxt;

while ((lineTxt = bufferedReader.readLine()) != null) {

lineTxt = lineTxt.trim();

addWord(lineTxt);

}

read.close();

} catch (Exception e) {

logger.error("读取敏感词文件失败" + e.getMessage());

}

}

public static void main(String[] argv) {

SensitiveService s = new SensitiveService();

s.addWord("色情");

s.addWord("赌博");

System.out.print(s.filter("你好赌博"));

}

}

网址：SpringBoot（8） https://www.yuejiaxmz.com/news/view/519210

相关内容

Springboot基于SpringBoot的宠物门诊系统6f8jy
二手家电交易系统(SpringBoot,SSM,MySQL)
Springboot/java/node/python/php教务管理系统【2024年毕设】
Springboot基于springboot的校园生活工具租赁系统cftei
Springboot+ssm(Spring+SpringMVC+MyBatis)旧物置换网站
springboot中unexpected error (type=Not Found, status=404)/WEB
基于Springboot+vue的二手书交易平台系统(需求文档)
【含文档+PPT+源码】基于SpringBoot+Vue的在线教育学习平台
【开题报告】基于SpringBoot的旧衣物上门回收系统的设计与实现
java基于springboot美食推荐管理系统附源码风格

随便看看