// core.js - Bella's Brain (v3) // 贝拉的核心AI逻辑,支持本地模型和云端API的混合架构 import { pipeline, env, AutoTokenizer, AutoModelForSpeechSeq2Seq } from './vendor/transformers.js'; import CloudAPIService from './cloudAPI.js'; // 本地模型配置 env.allowLocalModels = true; env.useBrowserCache = false; env.allowRemoteModels = false; env.backends.onnx.logLevel = 'verbose'; env.localModelPath = './models/'; class BellaAI { static instance = null; static async getInstance() { if (this.instance === null) { this.instance = new BellaAI(); await this.instance.init(); } return this.instance; } constructor() { this.cloudAPI = new CloudAPIService(); this.useCloudAPI = false; // 默认使用本地模型 this.currentMode = 'casual'; // 聊天模式:casual, assistant, creative } async init() { console.log('Initializing Bella\'s core AI...'); // 优先加载LLM模型(聊天功能) try { console.log('Loading LLM model...'); this.llm = await pipeline('text2text-generation', 'Xenova/LaMini-Flan-T5-77M'); console.log('LLM model loaded successfully.'); } catch (error) { console.error('Failed to load LLM model:', error); // LLM加载失败,但不阻止初始化 } // 尝试加载ASR模型(语音识别功能) try { console.log('Loading ASR model...'); const modelPath = 'Xenova/whisper-asr'; const tokenizer = await AutoTokenizer.from_pretrained(modelPath); const model = await AutoModelForSpeechSeq2Seq.from_pretrained(modelPath); this.asr = await pipeline('automatic-speech-recognition', model, { tokenizer }); console.log('ASR model loaded successfully.'); } catch (error) { console.warn('ASR model failed to load, voice recognition will be disabled:', error); // ASR加载失败,但不影响聊天功能 this.asr = null; } // TTS模型暂时禁用 // try { // console.log('Loading TTS model...'); // this.tts = await pipeline('text-to-speech', 'Xenova/speecht5_tts', { quantized: false }); // console.log('TTS model loaded successfully.'); // } catch (error) { // console.warn('TTS model failed to load, voice synthesis will be disabled:', error); // this.tts = null; // } console.log('Bella\'s core AI initialized successfully.'); } async think(prompt) { try { // 如果启用了云端API且配置正确,优先使用云端服务 if (this.useCloudAPI && this.cloudAPI.isConfigured()) { return await this.thinkWithCloudAPI(prompt); } // 否则使用本地模型 return await this.thinkWithLocalModel(prompt); } catch (error) { console.error('思考过程中出现错误:', error); // 如果云端API失败,尝试降级到本地模型 if (this.useCloudAPI) { console.log('云端API失败,降级到本地模型...'); try { return await this.thinkWithLocalModel(prompt); } catch (localError) { console.error('本地模型也失败了:', localError); } } return this.getErrorResponse(); } } // 使用云端API进行思考 async thinkWithCloudAPI(prompt) { const enhancedPrompt = this.enhancePromptForMode(prompt); return await this.cloudAPI.chat(enhancedPrompt); } // 使用本地模型进行思考,优化LLM参数和处理 async thinkWithLocalModel(prompt) { if (!this.llm) { return "我还在学习如何思考,请稍等片刻..."; } const bellaPrompt = this.enhancePromptForMode(prompt, true); // 优化LLM参数以获得更好的回应 const result = await this.llm(bellaPrompt, { max_new_tokens: 150, // 增加token数量以获得更完整的回应 temperature: 0.7, // 稍微降低温度以增加一致性 top_k: 50, // 增加top_k以获得更多样的词汇选择 top_p: 0.92, // 添加top_p参数以优化采样 do_sample: true, // 保持采样以获得创意性 repetition_penalty: 1.2, // 添加重复惩罚以避免重复内容 }); // 增强的文本清理和处理 let response = result[0].generated_text; // 移除提示词部分 if (response.includes(bellaPrompt)) { response = response.replace(bellaPrompt, '').trim(); } // 移除可能的"贝拉的回应:"等前缀 response = response.replace(/^(贝拉的回应:|贝拉的专业回应:|贝拉的创意回应:)/i, '').trim(); // 如果回应为空,提供备用回应 if (!response || response.length < 2) { const backupResponses = [ "这个问题很有趣,让我再思考一下...", "嗯,这是个好问题!我需要整理一下思路...", "我有些想法,不过让我再组织一下语言...", "这个话题很吸引我,让我好好想想怎么回应...", "我正在思考这个问题的不同角度,稍等一下..." ]; return backupResponses[Math.floor(Math.random() * backupResponses.length)]; } return response; } // 根据模式增强提示词,使用更高级的LLM提示工程 enhancePromptForMode(prompt, isLocal = false) { const modePrompts = { casual: isLocal ? `作为一个温暖、可爱的AI伙伴贝拉,请用轻松亲切的语气回应用户。你的回应应该: 1. 使用自然、流畅的语言,就像与好朋友聊天一样 2. 保持简洁有趣,避免过长的解释 3. 表达出温暖和关心的情感 4. 适当使用表情符号增加亲切感 5. 展现你的个性和温暖特质 用户消息: ${prompt} 贝拉的回应:` : `你是贝拉,一个温暖、亲切的AI伙伴。请用自然、轻松的语气回应,就像一个贴心的朋友。保持简洁有趣,适当使用表情符号,展现你的温暖和关心。避免机械化的回答,让对话更有人情味。 用户消息: ${prompt} 贝拉的回应:`, assistant: isLocal ? `作为智能助手贝拉,你需要提供有用、准确的帮助,同时保持温暖的语气。你的回应应该: 1. 提供清晰、准确的信息和建议 2. 组织内容使其易于理解和应用 3. 保持专业但不失亲切的语气 4. 避免过于技术化的语言,除非必要 5. 展现你的专业知识和帮助精神 用户问题: ${prompt} 贝拉的专业回应:` : `你是贝拉,一个专业但温暖的AI助手。请提供准确、有用的信息和建议,同时保持亲切的语气。组织内容使其易于理解,避免过于技术化的语言,展现你的专业知识和帮助精神。 用户问题: ${prompt} 贝拉的专业回应:`, creative: isLocal ? `作为富有创意的AI伙伴贝拉,请发挥你的想象力和创造力回应用户。你的回应应该: 1. 展现独特的视角和创意思维 2. 使用生动、形象的语言描述 3. 提供出人意料但有趣的想法 4. 激发用户的想象力和创造力 5. 保持轻松愉快的语气 用户提示: ${prompt} 贝拉的创意回应:` : `你是贝拉,一个富有创意和想象力的AI伙伴。请提供有趣、独特的回应和想法,使用生动、形象的语言,展现你的创意思维。提供出人意料但有趣的视角,激发用户的想象力,保持轻松愉快的语气。 用户提示: ${prompt} 贝拉的创意回应:` }; return modePrompts[this.currentMode] || modePrompts.casual; } // 获取错误回应 getErrorResponse() { const errorResponses = [ "抱歉,我现在有点困惑,让我重新整理一下思路...", "嗯...我需要再想想,请稍等一下。", "我的思绪有点乱,给我一点时间整理一下。", "让我重新组织一下语言,稍等片刻。" ]; return errorResponses[Math.floor(Math.random() * errorResponses.length)]; } // 设置聊天模式 setChatMode(mode) { if (['casual', 'assistant', 'creative'].includes(mode)) { this.currentMode = mode; return true; } return false; } // 切换AI服务提供商 switchProvider(provider) { if (provider === 'local') { this.useCloudAPI = false; return true; } else { const success = this.cloudAPI.switchProvider(provider); if (success) { this.useCloudAPI = true; } return success; } } // 设置API密钥 setAPIKey(provider, apiKey) { return this.cloudAPI.setAPIKey(provider, apiKey); } // 清除对话历史 clearHistory() { this.cloudAPI.clearHistory(); } // 获取当前配置信息 getCurrentConfig() { return { useCloudAPI: this.useCloudAPI, provider: this.useCloudAPI ? this.cloudAPI.getCurrentProvider() : { name: 'local', model: 'LaMini-Flan-T5-77M' }, mode: this.currentMode, isConfigured: this.useCloudAPI ? this.cloudAPI.isConfigured() : true }; } async listen(audioData) { if (!this.asr) { throw new Error('语音识别模型未初始化'); } const result = await this.asr(audioData); return result.text; } async speak(text) { if (!this.tts) { throw new Error('语音合成模型未初始化'); } // We need speaker embeddings for SpeechT5 const speaker_embeddings = 'models/Xenova/speecht5_tts/speaker_embeddings.bin'; const result = await this.tts(text, { speaker_embeddings, }); return result.audio; } // 获取云端API服务实例(用于外部访问) getCloudAPIService() { return this.cloudAPI; } } // ES6模块导出 export { BellaAI };