思通舆情：一款功能强大的开源免费舆情系统
一、系统概述
思通舆情是一款功能强大的舆情管理系统，支持本地化部署，提供全面的数据采集、智能预警和深度分析功能。旨在帮助企业和组织准确把握公众舆论趋势，迅速做出决策。
二、核心功能
舆情监测
- 通过全文搜索、来源搜索、热搜监测等功能，实现对全网文本、图片、视频舆情的实时发现。
- 支持新闻、社交媒体、论坛、短视频等多种数据源，确保信息的全面性和及时性。
舆情预警
- 根据用户设置的预警条件，系统自动判别舆情信息，通过多渠道（如邮件、短信、APP推送等）第一时间通知用户。
- 有助于用户及时响应，避免危机信息的扩散。
舆情分析
- 提供全网事件分析、传播分析、竞品分析、评论分析、热度指数等六类大数据分析。
- 帮助用户深入了解舆情事件的来龙去脉，评估事件的影响力和传播效果。
舆情报告
- 用户可一键快速生成日、周、月、季度报告。
- 报告附带行业舆情案例库，为舆情应对提供参考，支持丰富的写作模板和样式。
三、技术架构
系统架构
思通舆情采用多种开源技术组件和框架构建，包括：
- SpringBoot框架
- MySQL数据库
- Elasticsearch数据检索
- MongoDB文章储存
- Redis系统缓存
- Kafka和RabbitMQ消息队列
这些组件共同确保了系统的高并发性、稳定性和可扩展性。系统还利用PaddlePaddle进行深度学习任务，结合WebMagic和Scrapy等网络爬虫技术，确保数据的及时更新和准确性。
四、技术栈
数据采集
- 开发平台：Java J2EE & SpringBoot
- 采集框架：Spider-flow & WebMagic & HttpClient
- APP采集：Xposed框架
- URL仓库：布隆过滤器 + Redis
- 网页渲染解析：Jvppeteer & Playwright（微软开源） & Selenium
- web应用服务器：Nginx & Tomcat
- 储存任务发送：Kafka & Zookeeper
- 抓取任务发送：RabbitMQ
- 配置管理：MySQL
- 前端展示：Bootstrap & VUE
数据处理
- 开发框架：SpringBoot
- 开发语言：Java J2EE
- 数据暂存：MySQL
- 数据索引：Redis
- 深度学习：PaddlePaddle
- 自然语言处理：HaNLP & THUCTC
- 数据处理和储存任务发送：Kafka & Zookeeper
- 数据中台：自研 & DataEase
- 数据初始化：集成FlyWay，自动初始化MySQL
- 数据总线：RocketAPI（进行了二次开发）
数据分析
- 数据库：MySQL
- 数据检索：Elasticsearch
- 中文分词器：IK分词
- 相似度计算：Clickhouse
- 数据同步：DataX
- 文章储存：Mongodb
- 数据缓存：Redis
- 消息队列：Kafka & RabbitMQ
- 开发框架：SpringBoot
- 开发语言：Java J2EE
- 图表展示：Apache Echarts & AnyCharts
五、效果展示
六、优势特点
开源开放
- 源代码完全公开，用户可自由使用和改进，系统持续更新，优化用户体验和功能。
简单易用
- 设计直观的用户界面，无需复杂操作即可完成舆情分析，提供详细的安装部署手册，简化部署过程。
秒级响应
- 即使面对大量数据，依然能快速查询和返回结果，保证时效性。
覆盖广泛
- 包含多种数据源，全面掌握网络舆论动态。
智能高效
- 利用大数据和人工智能技术，提高舆情监测和分析的准确性和效率。
七、应用场景
思通舆情适用于多个场景，包括但不限于：
- 企业公关部门：实时捕捉与品牌相关的舆情动态，及时发现并应对危机信息。
- 政府机关：监测社会热点事件和公众舆论趋势，为政策制定和舆论引导提供依据。
- 市场营销团队：根据系统提供的数据分析结果调整营销策略，提升品牌影响力。
综上所述，思通舆情是一款功能全面、技术先进、易于使用的舆情管理系统。能够帮助用户准确把握公众舆论趋势，及时响应危机信息，提高决策质量和响应速度。
八、开源地址
https://gitee.com/stonedtx/yuqing
