DOI:10.3969/j.issn.1673-6036.2025.08.005
中图分类号:R-05
全文
文内图表
参考文献
出版信息
基于多模态数据融合的在线医疗社区患者择医行为研究
1 引言
第54次《中国互联网络发展状况统计报告》显示，截至2024年6月我国互联网医疗用户数量达3.65亿人，共占网民总数的33.2%[1]。其中在线医疗社区是目前影响范围最广的互联网医疗形式[2]。2023年国务院办公厅印发的《关于进一步完善医疗卫生服务体系的意见》提出要发展“互联网+医疗健康”，建设面向医疗领域的工业互联网平台[3]。
近年来，在线医疗社区日益受到研究者关注，挖掘其数据价值以辅助医疗管理已成为热点，并取得了一定成果[4]。当前研究热点聚焦于医患行为挖掘，特别是患者的在线医疗决策行为。随着医疗信息化快速发展、新型健康设备普及及互联网医疗平台更新，对海量多样化医疗数据的分析需求日益迫切[5]。鉴于此，本研究采用多模态数据融合方法，基于在线医疗社区“好大夫在线”平台数据，分析多模态信息对患者择医行为的影响。
2 相关研究
在线医疗社区研究主要包括健康信息分析和用户行为研究，后者以患者行为为核心[6-7]。目前患者医疗决策行为是研究热点，主要集中于在线择医[8-9]和服务选择[10]等方面。其中在线择医行为指患者根据平台信息选择医生，并通过图文、电话等方式进行问诊的决策过程。在线择医行为研究主要包括以下3个方面。一是在线医疗社区中患者生成内容对择医行为的影响研究。主要基于在线医疗社区的评论数据，通过文本特征、评级等影响因素分析，构建患者择医决策模型。例如，Shen J等[11]利用在线健康社区数据构建实证模型，探讨内部与外部口碑对患者择医行为的影响。Burkle C M等[12]通过医院网站的患者调查报告研究患者来访和留言频率，并进一步量化正面评论和负面评论的效果、所写评论的性质以及医生医疗事故记录对患者择医行为的影响。Hanauer D A等[13]研究发现与患者选择医生时使用的其他标准相比，在线评级对择医影响最低。二是在线医疗社区中系统生成内容和医生生成内容对择医行为的影响研究，多以医生主页信息作为研究基础。例如，Wu H等[14]利用负二项回归模型研究服务价格对患者医疗决策的影响。Ouyang P等[15]从医生形象出发，利用在线医疗社区中医生图像数据分析颜值、微笑、皮肤状态3项特征对患者择医行为的影响。三是在线医疗社区中系统生成内容和患者生成内容对择医行为的影响研究[16-17]。例如，Zhang Y等[8]探究患者生成信息和系统生成信息对择医行为的影响。此外，在线择医行为还受到患者疾病风险、家庭情况、距离效应的影响[9，18]。上述研究涉及不同类型数据，利用实证分析方法取得了较好的解释分析效果，但其存在数据源单一且忽视时间效应、分析方法多依赖线性回归等局限，难以揭示患者择医行为的深层影响因素。为此，有学者开始转向多模态数据挖掘与分析，以更全面解析决策机制。例如，Shah A M等[19]使用长短期记忆网络模型和卷积神经网络中的Visual Geometry Group16算法融合文本和图像特征，并采用过滤模块剔除不相关和重复图像，以预测医疗保健社交媒体中的医患关系强度。Sindoni M G等[20]利用多模态技术从文本与视觉两个角度调查美国疾病控制与预防中心网站，以及社交媒体中身份和距离的相互作用。陈东华等[21]基于“好大夫在线”数据，探讨多模态数据驱动下医生发布信息与患者决策行为之间的关系。
本研究主要基于在线医疗社区中多模态的非结构化信息(如图像、文本)和结构化数据，探讨端到端深度学习等技术的实际场景应用，以弥补上述不足。
3 数据获取与研究设计
3.1 研究框架
研究框架主要包括多模态数据融合、模型分析与解释，见图1。同时选取特征工程模型和端到端模型进行预测分析，前者可通过各细粒度特征进行在线患者择医行为的可解释性分析，且可避免数据中的噪声和冗余信息；后者可直接使用图像、文本以及结构化数据进行相关分析，自动化程度较高。对比两种方法的性能差异，整合各自优势，进一步验证多模态信息对择医行为的影响作用。
图1 研究框架
注：图中阴影表示文本和图像模态数据，其余为结构化数据。
3.2 数据获取与处理
采集“好大夫在线”平台多模态数据，覆盖内科、外科、妇产科和儿科等主要科室医生，最终获取13 166条有效样本。选取平台医生在线问诊服务次数Treat衡量在线患者的择医行为，数据时间跨度为2023年12月1日—2024年1月31日，以此保证数据的时效性与有效性，在后续研究中可以减少因变量与自变量之间互为因果关系的影响[17]。数据具体描述，见表1。使用Deepface从医生头像中提取性别Gender、人脸情绪分数Img_Sent作为特征变量，使用文本情感分析工具HarvestText从医生寄语和患者评论的文本信息中提取寄语情绪分数Itro_Sent和患者评论情绪分数Com_Sent作为特征变量。对于医生职称、所属医院等级和一般回复速度变量，采用独热编码。
表1 数据具体描述
类别数据名称(简称)描述模态医生生成内容医生头像(Img)医生所上传的个人头像照片图像 医生寄语(Itro)医生主页的寄语文本信息文本 医生职称(Title)医生主页的职称等级,分为3类结构化数据所属医院等级(Hos)医生所属医院等级,分为5类结构化数据暖心记录(Warm)医生主页的暖心记录情况,分为2类结构化数据科普文章数(Pop)医生所发布的科普文章数量结构化数据在线问诊价格(Price)医生所提供的所有在线问诊服务的平均价格结构化数据患者生成内容患者评论(Com)医生主页下的患者评论文本文本 患者推荐票数(Vote)近两年内患者为医生投出的推荐票数结构化数据心意礼物数(Gift)患者为医生送出的心意礼物数量结构化数据系统生成内容一般回复速度(Res)医生在提供在线医疗服务时的回复速度,分为6类结构化数据年度好大夫次数(Good)医生在平台中获得年度好大夫的次数结构化数据病友推荐度(Rec)系统根据医生情况计算的推荐指数结构化数据总患者数(All)医生在平台中服务过的患者总数量结构化数据
3.3 研究方法
3.3.1 基于特征工程的神经网络模型 采用特征工程的方式，使用Deepface[22]、HarvestText[23]等开源工具从在线医疗社区中的非结构化数据(图像和文本)中提取相应特征，融合其他结构化数据构建神经网络回归模型。其中Deepface工具以多任务级联卷积神经网络[24]为后端框架，在亚洲人面部识别任务中展现出更优越的性能；HarvestText工具基于总体文本进行新词发现，以此构建专用分词库，提升特征提取的有效性。神经网络模型中隐藏层数越多，降低网络误差及提高精度的效果越好，但同时会增加网络复杂性，导致训练时间变长，出现过拟合现象[25]。本研究采用五折交叉验证方式确定特征工程模型的隐藏层数，并根据如下经验公式确定隐藏层神经元个数Nh。其中Nt为训练集样本数量，Ni为输入层神经元个数，No为输出层神经元个数，α为常数，一般取值范围为2～20。
(1)
3.3.2 基于端到端的深度学习模型 设V={V1，V2，…，Vn}表示医生的图像集合，T={T1，T2，…，Tn}表示医生对应的文本集合，S={S1，S2，…，Sn}表示医生对应的结构化数据集合，模型目标为通过V、T、S对患者择医行为进行预测。端到端模型框架主要包括特征提取层、模态融合层和预测层，见图2。
图2 基于端到端的深度学习模型
特征提取层使用残差网络50(ResNet50)模型处理多模态数据中的图像内容。将图像转换为224×224像素尺寸的RGB模式，输入ResNet50模型，取最后一层输出的特征向量作为全局特征Vi。使用双向编码器表征(bidirectional encoder representations from transformers，BERT)模型处理多模态数据中的文本内容，取最后一层池化层作为全局特征Ti。对于结构化数据，直接拼接获得特征向量Si。模态融合层将图像特征Vi、文本特征Ti和结构化数据Si特征进行融合，预测患者择医行为，计算方式如下，其中i代表第i个样本，Mi为多模态融合后的特征，
为映射到统一维度shared_size向量空间中的图像特征、文本特征以及结构化数据特征。预测层将融合特征送入全连接层进行降维以及预测，得到预测值。
(2)
4 模型预测与分析结果
4.1 描述性统计与相关性分析
对因变量和特征变量进行描述性统计和相关性分析。其中连续变量描述性统计，见表2。部分变量数据呈离散状态，少部分变量有离群值。因变量Treat和部分连续变量呈明显偏态分布，将采用取对数方法进行数据处理，以消除离群值影响。
表2 连续性特征描述性统计结果
变量均值标准差最小值最大值偏度Treat7.5419.1202004.93Img_Sent0.270.38011.03Intro_Sent0.370.3100.91-0.37Pop20.5560.6809917.84Price114.05197.8709 99918.50Com_Sent0.490.1801-1.41Vote17.2548.4006005.53Gift86.84202.8402 9035.84Good0.080.53098.50Rec3.720.303.251.39All1 350.242 303.87119 9783.32
对分类变量进行统计，部分变量明显分布不均衡，将转换为独热编码进行分析，以消除数据不均衡的影响。对于医生职称、一般回复速度分类变量，使用数字无法较好地衡量不同等级之间的差距，将采用独热编码作为模型输入。
处理后的连续变量具有区间或比例尺度，近似服从正态分布，使用Pearson相关性分析；而分类变量之间不具备等距性，使用非参数秩和检验更为合适，因此使用Spearmen相关性分析。具体结果，见表3—表4。部分特征变量与患者择医行为之间呈现显著相关关系。医生职称和所属医院等级相关性较弱，但通过显著性检验，可能是受到数据不平衡影响。而性别与患者行为之间相关性微弱，在后续研究中将排除性别特征。
表3 Pearson相关系数矩阵
变量TreatImg_SentIntro_SentPopularPriceCom_SentVoteGiftGoodRecAllTreat1Img_Sent0.130∗∗1Intro_Sent-0.120∗∗-0.020∗1Popular0.330∗∗-0.010∗0.0991Price0.350∗∗0.051∗0.0630.210∗∗1Com_Sent0.300∗∗0.003-0.002-0.0140.0111Vote0.590∗∗0.022∗∗0.140∗∗0.410∗∗0.320∗∗-0.0891Gift0.540∗∗0.004∗∗0.240∗∗0.590∗∗0.420∗∗0.051∗∗0.620∗∗1Good0.480∗∗-0.0090.096∗0.350∗∗0.250∗∗-0.020∗∗0.580∗∗0.560∗∗1Rec0.540∗∗0.012∗∗0.110∗∗0.330∗∗0.390∗∗-0.0560.540∗∗0.540∗∗0.560∗∗1All0.570∗∗-0.0120.270∗∗0.540∗∗0.440∗∗0.056∗0.590∗∗0.630∗∗0.450∗∗0.490∗∗1
注：*表示P<0.05，**表示P<0.01。
表4 Spearman相关系数矩阵
变量TreatImg_SentIntro_SentPopularPriceCom_SentTreat1Gender0.0041Title0.050∗∗-0.0171Hos0.020∗∗0.026∗∗-0.054∗∗1Warm0.180∗∗0.0160.100∗∗0.190∗∗1Res0.680∗∗0.016∗∗0.100∗∗0.250∗∗0.3401
注：*表示P<0.05，**表示P<0.01。
4.2 模型评价指标与实验参数
采用均方误差(mean squared error，MSE)、平均绝对误差(mean absolute error，MAE)和决定系数(R2)作为模型的评价指标。其中n为样本数量，yi为因变量的真实值，
为预测值，
为样本中所有真实值的均值。
(3)
(4)
(5)
对于特征工程模型，处理后的特征变量数量为27，因此输入层总计有27个神经元，输出层为1个神经元。使用五折交叉验证方式，选取隐藏层层数为2，神经元数量分别为16、30。特征工程模型具体参数，见表5。端到端模型经参数调优后的具体参数，见表6。
表5 特征工程模型参数
参数名称参数每层神经元数量27-16-30-1隐藏层激活函数Relu输出层激活函数Linear学习率lr=0.000 5,weight_decay=0.02正则化系数λ=0.003Dropout层0.3, 0.2优化器Adam批处理大小batch_size=32
表6 端到端模型参数
参数名称参数端到端模型学习率lr=1×10-4BERT模型学习率lr=5×10-6ResNet模型学习率lr=5×10-6统一维度大小shared_size=128固定文本模型参数True固定图像模型参数TrueBERT模型的Dropout层0.2ResNet模型的Dropout层0.2融合Dropout层0.3优化器Adam批处理大小batch_size=32早停Early stoppingTrue
4.3 实验结果分析
针对上述两个模型，将数据集以随机种子数进行抽样，按8∶1∶1的比例分为训练集、验证集与测试集。实验结果相关指标，见表7。端到端模型性能基本超越特征工程模型。两个模型验证集、测试集MSE均小于训练集，表明均具有较好的泛化性能，未出现过拟合现象。其中端到端模型的测试集MSE比验证集低，且小于特征工程模型指标，证明端到端模型的泛化性能优于特征工程模型。两个模型MAE均在0.4～0.5之间，说明对患者择医行为预测均较准确，误差较小；其中端到端模型在3项数据集上的MAE均小于特征工程模型，表明前者预测性能高于后者。端到端模型的解释能力比特征工程模型有较大提升。说明在线医疗社区中的图像和文本数据包含某些难以通过传统特征工程方法提取的隐含特征，这些特征会对患者的择医行为产生一定影响。
表7 模型指标结果
模型MSEMAE训练集验证集测试集训练集验证集测试集R2特征工程0.432 90.405 20.412 40.477 30.451 10.457 90.530 4端到端 0.412 60.406 30.399 10.476 50.422 60.432 70.623 1
4.4 可解释性分析
4.4.1 SHAP分析 采用SHAP方法分析特征工程模型中各特征变量对在线患者择医行为的影响[26]，见图3。对于系统生成内容，获得年度好大夫次数、病友推荐度、总患者数、一般回复速度4个特征变量均反映出特征值越高医生在线问诊服务次数越多的趋势，说明其对患者在线择医行为产生正向影响。其中一般回复速度的SHAP值区分十分明显，表明医生在线回复速度快能够明显促进患者选择，这与部分研究[27]结果一致。年度好大夫次数、病友推荐度、总患者数三者与此类似，特征值越高越促进患者选择。然而，部分样本反映年度好大夫次数较低也会促进患者选择，说明年度好大夫次数的客观信息价值较低。这与魏洁等[17]研究不符；但也有研究[10]表明如果系统中的客观信息价值较低，对患者选择的影响会被稀释，从而导致部分样本中年度好大夫次数影响较弱甚至相反。对于患者生成内容，心意礼物数、患者推荐票数、患者评论情绪分数3个特征变量显示特征值越高，患者越倾向于选择该医生。相比之下，患者推荐票数、患者评论情绪分数的影响高于心意礼物数的影响。但有研究[28]表明礼物数的正向影响较其他指标更大，该差异可能由预测目标不同导致。对于医生生成内容，医生职称、暖心记录、在线问诊价格、人脸情绪分数、寄语情绪分数、所属医院等级、科普文章数7项特征变量对患者择医行为的影响区别较大。医生职称、暖心记录、在线问诊价格和人脸情绪分数对患者择医行为有一定正向影响。其中医生职称影响比较明显，表明患者在选择医生时，较看重医生的职称等级。暖心记录与在线问诊价格反映医生的服务质量与一定个人能力，表明医疗资源的稀缺性影响在线择医行为[29]。人脸情绪分数的影响说明积极的医生照片信息更能促进患者对医生的选择，验证了在线医疗社区中医生图像信息的影响[30]。而寄语情绪分数、医生所属医院等级、科普文章数对促进患者选择没有明显影响。其中寄语情绪分数特征值越低，患者选择该医生的机会越大，这与部分研究结果相类似，表明寄语内容过多会产生负向影响[31]。根据“好大夫在线”平台数据分析，问诊量较多的医生，其医生寄语文本内容一般短小精悍，简要说明其门诊时间与地点，从而导致样本训练中寄语情绪分数较低，表现出负向影响。医院等级方面，高特征值对择医行为的正向影响很小，但低特征值会产生较大负向影响。对于医生科普文章数量，大部分样本显示低特征值有一定正向影响，高特征值有一定负向影响，但影响较小。产生该现象可能是由于医生在平台中对问诊和科普的侧重不同[32]。
图3 SHAP分析
4.4.2 特征重要性分析 对于端到端模型，采用模态分类的方式对模型进行解释性分析。使用特征重要性排序分析医生图像信息、医生寄语文本信息、患者评论文本信息和结构化数据信息，见图4。结构化数据特征最重要，与SHAP值分析结果类似，说明患者择医行为受医生职称等级、病友推荐度、总患者数等结构化数据影响最大。对图像和文本两个模态特征而言，评论文本特征影响最大，其次是医生图像特征，寄语文本特征的影响最小，说明患者评论文本与医生图像中蕴含着对患者择医行为有较大影响的特征。在特征工程模型中的人脸情绪分数、评论情绪分数只是特征中的一部分，还存在其他信息有待挖掘。例如，易梦馨等[16]研究发现，严肃或普通的形象特质更能体现医生的专业权威性，从而影响患者选择。综上所述，由于图像与文本特征的全部融合，可以挖掘出图像与文本中更多的信息，端到端模型比特征工程模型具有更好的预测能力。
图4 特征重要性分析
5 结语
本研究立足多模态数据融合，构建基于特征工程的神经网络模型和端到端的深度学习模型，预测与分析在线医疗社区中的患者择医行为，创新点主要集中于数据、模型构建以及解释分析3个方面。本研究尚存在一定局限性：一是只选取“好大夫在线”平台数据，未来可选取其他社区数据进行进一步验证与分析；二是对图像和文本仅使用情绪分数特征，未来可借助相关领域专家经验，提取更为有效的特征变量来构建特征工程模型；三是研究主要集中在图像、文本和一些结构化数据，未来可纳入医生的音频、视频等数据，进行更丰富的融合。
作者贡献：汪伦负责研究设计、数据采集与分析、论文撰写；侯丽负责研究设计、论文修订。
利益声明：所有作者均声明不存在利益冲突。
1 中国互联网络信息中心.第54次《中国互联网络发展状况统计报告》[EB/OL].[2024-12-09]. https：//www3.cnnic.cn/n4/2024/0829/c88-11065.html.
2 郝军，戚淼杰，韩优莉. 在线医疗社区的发展现状及启示——以北京市为例[J]. 卫生经济研究，2020，37(11)：18-22.
3 关于进一步完善医疗卫生服务体系的意见[EB/OL].[2024-09-24]. https：//www.gov.cn/zhengce/2023-03/23/content_5748063.htm.
4 廖虎昌，刘凡，卢柯宇，等. 基于在线医疗评论的患者行为挖掘及其在医疗决策与管理中的应用综述[J]. 电子科技大学学报(社科版)，2022，24(3)：1-22.
5 TELENTI A，JIANG X. Treating medical data as a durable asset[J]. Nature genetics，2020，52(10)：1005-1010.
6 曾宇颖. 在线健康社区中患者择医行为影响因素研究[D]. 武汉：武汉大学，2019.
7 谭博仁. 在线问诊平台中患者对医生选择意愿的影响因素研究[D]. 北京：北京邮电大学，2019.
8 ZHANG Y，QIU C，ZHANG J. A Research based on online medical platform：the influence of strong and weak ties information on patients’ consultation behavior[J]. Healthcare，2022，10(6)：977.
9 CHEN Q，XU D，FU H，et al. Distance effects and home bias in patient choice on the internet：evidence from an online healthcare platform in China[J]. China economic review，2022，72(4)：101757.
10 LI Y，SONG Y，ZHAO W，et al. Exploring the role of online health community information in patients’ decisions to switch from online to offline medical services[J]. International journal of medical informatics，2019，130(10)：103951.
11 SHEN J，AN B，XU M，et al. Internal or external word-of-mouth (WOM)，why do patients choose doctors on online medical services (OMSs) single platform in China[J]. International journal of environmental research and public health，2022，19(20)：13293.
12 BURKLE C M，KEEGAN M T. Popularity of internet physician rating sites and their apparent influence on patients’ choices of physicians[J]. BMC health services research，2015，15(1)：416.
13 HANAUER D A，ZHENG K，SINGER D C，et al. Public awareness，perception，and use of online physician rating sites[J]. JAMA，2014，311(7)：734-735.
14 WU H，DENG Z，WANG B，et al. How does service price influence patients’ decisions？An examination of the free-market pricing mechanism in online health communities[J]. Electronic markets，2021，31(4)：877-893.
15 OUYANG P，WANG J J. Physician’s online image and patient’s choice in the online health community[J]. Internet research，2022，32(6)：1952-1977.
16 易梦馨，吴江，蔡婧璇，等. 信任视角下基于文本图片多源信息的在线择医行为研究[J]. 情报科学，2021，39(9)：84-93.
17 魏洁，杨正玲. 患者、医生和系统产生内容对患者择医行为的影响[J]. 管理科学，2022，35(4)：44-56.
18 HAN X，QU J，ZHANG T. Exploring the impact of review valence，disease risk，and trust on patient choice based on online physician reviews[J]. Telematics and informatics，2019，45(12)：101276.
19 SHAH A M，YAN X，KHAN S et al. A multi-modal approach to predict the strength of doctor-patient relationships[J]. Multimedia tools and applications，2021，80(15)：23207-23240.
20 SINDONI M G. “The time is now”：a multimodal pragmatic analysis of how identity and distance are indexed in HIV risk communication digital campaigns in US[J]. Journal of pragmatics，2021，177(52)：82-96.
21 陈东华，张润彤. 在线健康社区医生多模态信息融合对患者决策行为影响研究[J]. 现代情报，2022，42(8)：37-49.
22 SERENGIL S I，OZPINAR A. Hyperextended lightface：a facial attribute analysis framework[C].Tokyo：2021 International Conference on Engineering and Emerging Technologies (ICEET)，2021.
23 ZHANG Z. HarvestText：a toolkit for text mining and preprocessing[EB/OL].[2024-12-09].https：//gith ub.com/blmoistawinde/HarvestText.
24 ZHANG K，ZHANG Z，LI Z，et al. Joint face detection and alignment using multitask cascaded convolutional networks[J]. IEEE signal processing letters，2016，23(10)：1499-1503.
25 王嵘冰，徐红艳，李波，等. BP神经网络隐含层节点数确定方法研究[J]. 计算机技术与发展，2018，28(4)：31-35.
26 LUNDBERG S M，LEE S I. A unified approach to interpreting model predictions[C].Long Beach：Advances in Neural Information Processing Systems，2017.
27 CAO X，LIU Y，ZHU Z，et al. Online selection of a physician by patients：empirical study from elaboration likelihood perspective[J]. Computers in human behavior，2017，73(8)：403-412.
28 陆泉，李易时，陈静，等. 在线医疗社区患者择医行为影响因素研究[J]. 图书情报工作，2019，63(8)：87-95.
29 CHEN Y，LIU M，CHEN M，et al. Determinants of patients’ service choice in online health communities：an elaboration likelihood model perspective[J]. Library hi tech，2023，42(6)：1863-1879.
30 SHAN W，WANG Y，LUAN J，et al. The influence of physician information on patients’ choice of physician in mhealth services using China’s Chunyu Doctor App：eye-tracking and questionnaire study[J]. JMIR mhealth and uhealth，2019，7(10)：e15544.
31 QIN M，ZHU W，YOU C，et al. Patient’s behavior of selection physician in online health communities：based on an elaboration likelihood model[J].Frontiers in public health，2022(10)：986933.
32 GONG Y，WANG H，XIA Q，et al. Factors that determine a patient’s willingness to physician selection in online healthcare communities：a trust theory perspective[J]. Technology in society，2021，64(2)：101510.
