20251209 會議記錄

:::info

:eyes: 上次會議跟進事項

:construction: 待辦事項

上週訊息

Github Activities

小聚檢討

小松果: https://g0v.hackmd.io/@mrorz/SyGP7qGGbl

本月 cost

收到 projection 會超標,但隔了幾天看下來還好

Elasticsearch Migration

可以先看看 data 長什麼樣,需使用 NPO HUB Guest WiFi

http://202.5.251.82:6223/app/discover#/doc/6227b879-2647-4e53-beff-0a28240f5c80/articles_v1_4_1-v9?id=gmdiceh1hebq

script

curl -X POST "${DEST_HOST}/_reindex?wait_for_completion=false&pretty" -H 'Content-Type: application/json' -d"
{
  \"source\": {
    \"remote\": {
      \"host\": \"${SOURCE_HOST}\"
    },
    \"index\": \"${SOURCE_INDEX}\",
    \"size\": 50
  },
  \"dest\": {
    \"index\": \"${DEST_INDEX}\",
    \"op_type\": \"create\"
  },
  \"conflicts\": \"proceed\"
}"

支援續傳

“op_type”: “create” “conflicts”: “proceed”

chunk too large error

"error" : {
    "type" : "illegal_argument_exception",
    "reason" : "Remote responded with a chunk that was too large. Use a smaller batch size.",
    "caused_by" : {
      "type" : "content_too_long_exception",
      "reason" : "entity content is too long [184375375] for the configured buffer limit [104857600]"
    }
  }

source size 改小 就好了

Next steps

  1. 改 API
  2. 驗證資料是否正常
    • 記錄一下 reindex 所需時間
    • reindex 時 elasticsearch 會用多少記憶體
      • 若夠小,可以直接在同一台 production 上開 DB 做 reindex,省去 snapshot restore 到 local 以及 snapshot 回 production 的時間
      • docker-compose 裡只給 2GB RAM 也能跑
  3. 上 staging

社創實習期末報告連結

https://www.canva.com/design/DAG6vvtCGFI/J8qrimG4BonGBVos0JR4hw/edit