有知数据流调度
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

136 lines
4.8 KiB

logging:
level:
root: info
path: ./logs
server:
port: 8000
servlet:
context-path: /analystschedule
tomcat:
uri-encoding: utf-8
max-connections: 20000
max-http-form-post-size: 1
max-threads: 1000
spring:
application:
name: analystschedule
datasource:
url: jdbc:mysql://172.24.12.126:3306/cda_db?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8&useSSL=true
username: root
password: baifendian123
driver-class-name: com.mysql.cj.jdbc.Driver
kafka:
bootstrap-servers: 172.16.12.55:9092,172.16.12.56:9092,172.16.12.57:9092
producer:
retries: 0
#当有多个消息需要被发送到同一个分区时,生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小,按照字节数计算。
batch-size: 16384
# 设置生产者内存缓冲区的大小。
buffer-memory: 33554432
# 键的序列化方式
key-serializer: org.apache.kafka.common.serialization.StringSerializer
# 值的序列化方式
value-serializer: org.apache.kafka.common.serialization.StringSerializer
# acks=0 : 生产者在成功写入消息之前不会等待任何来自服务器的响应。
# acks=1 : 只要集群的首领节点收到消息,生产者就会收到一个来自服务器成功响应。
# acks=all :只有当所有参与复制的节点全部收到消息时,生产者才会收到一个来自服务器的成功响应。
acks: 1
consumer:
# 自动提交的时间间隔 在spring boot 2.X 版本中这里采用的是值的类型为Duration 需要符合特定的格式,如1S,1M,2H,5D
auto-commit-interval: 1S
# 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理:
# latest(默认值)在偏移量无效的情况下,消费者将从最新的记录开始读取数据(在消费者启动之后生成的记录)
# earliest :在偏移量无效的情况下,消费者将从起始位置读取分区的记录
auto-offset-reset: earliest
# 是否自动提交偏移量,默认值是true,为了避免出现重复数据和数据丢失,可以把它设置为false,然后手动提交偏移量
enable-auto-commit: true
# 键的反序列化方式
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
# 值的反序列化方式
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
#消费组
group-id: test4
#消费者并发线程数
concurrency: 4
#超时时间
max-poll-interval-ms: 60000
#listener:
# 在侦听器容器中运行的线程数。
#concurrency: 5
#listner负责ack,每调用一次,就立即commit
#ack-mode: manual_immediate
#missing-topics-fatal: false
redis:
host: 172.24.12.126
port: 6379
timeout: 10000
database: 5
jedis:
pool:
max-active: 8 # 连接池最大连接数(使用负值表示没有限制)
max-wait: 800 # 连接池最大阻塞等待时间(使用负值表示没有限制)
max-idle: 8 # 连接池中的最大空闲连接
min-idle: 2 # 连接池中的最小空闲连接
boot:
admin:
client:
#url: http://10.10.143.85:8000
url: http://172.16.12.55:8001
instance:
service-base-url: http://10.10.143.85:8000
management:
endpoints:
web:
exposure:
include: "*"
endpoint:
health:
show-details: always
health:
elasticsearch:
enabled: false
kafka:
consumer:
#自定义topic
topic: analyze
mybatis:
type-aliases-package: com.bfd.analyze.model
elasticsearch:
cluster-nodes: 172.16.12.55:9200,172.16.12.56:9200,172.16.12.57:9200
cluster-name: zh628es-cluster
username: elastic
password: bfd123
index-name: analyze_00001
dispatch:
index-name: dispatch_analyze_00001
zookeeper:
connection-string: 172.16.12.55:2181,172.16.12.56:2181,172.16.12.57:2181
publish-node: /analyze
task:
dispatch-thread-num: 1
results-thread-num: 1
save-thread-num: 1
queue-size: 10000
error-task-path: ../data/errorTask.txt
error-result-path: ../data/errorResult.txt
task-queue-path: ../data/taskQueue.txt
result-queue-path: ../data/resultQueue.txt
saveData-queue-path: ../data/saveDataQueue.txt
errorTask-queue-path: ../data/errorTaskQueue.txt
cycle-intv: 180000 #m默认3分钟
error-time: 3 #应用请求最大重试次数
#计费配置
billing:
apps:
2: 语音识别
3: 文字翻译
1027: 文档翻译
17: 文字识别
65: 生成式大模型
billingUrl: http://172.24.12.126:7076
aimodelType: 65