Много хора не биха намерили проблем в каста на „Мемоарите на една гейша“, защото всички актьори и герои са от азиатски произход. Филмът обаче разказва за гейшите – традиционен женски образ от японската култура, докато актрисата в главната роля - Джан Дзъи, е китайка. Друг член на актьорския състав е Мишел Йео, която е от Малайзия. Всъщност това не изчерпва неодобрението към филма. Джан Дзъи е заклеймена и в родния си Китай и обвинена в предателство задето участва във филм, посветен на бившия колониален владетел на Китай. Отношенията между Китай и Япония винаги са били сложни, а действието във филма се развива в началото на миналия век, когато Япония придобива голяма власт в Източна Азия.